您当前的位置: 首页 > 

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Seq2Seq模型应用案例之ScheduledEmbeddingTrainingHelper

段智华 发布时间:2019-02-14 21:57:14 ,浏览量:0

Seq2Seq模型应用案例之ScheduledEmbeddingTrainingHelper:

        Tensorflow最新的Seq2Seq案例请参考官网:https://github.com/tensorflow/nmt 这里不再赘述。

       在之前的博客中https://blog.csdn.net/duan_zhihua/article/details/87114665提及模型训练与模型预测的差异性,Tensorflow提供了ScheduledEmbedding的机制,训练时候解码器加入了抽样概率,按epoch的进度逐渐提高抽样概率:概率抽样为0的时候ScheduledEmbedidngTrainingHelper相当于TrainingHelper,概率抽样为1的时候ScheduledEmbedidngTrainingHelper相当于GreedyEmbeddingHelper,在0到1之间按照概率抽样目标词做预测。ScheduledEmbeddingTrainingHelper比没有实施计划采样的效果较好。 

# 0.0 ≤ sampling_probability ≤ 1.0
# 0.0: no sampling => `ScheduledEmbedidngTrainingHelper` is equivalent to `TrainingHelper` 可能过拟合!
# 1.0: always sampling => `ScheduledEmbedidngTrainingHelper` is equivalent to `GreedyEmbeddingHelper`
# Inceasing s
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0451s