您当前的位置: 首页 >  机器人

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

段智华 发布时间:2021-10-05 21:45:10 ,浏览量:0

自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

目录
  • The philosophy of Pattern-Exploiting Training (PET)
  • 星空智能对话机器人系列博客

The philosophy of Pattern-Exploiting Training (PET)

正如Schick和Schütze(2020)所描述的,PET依赖于一个核心原则:用完形填空问题重新安排训练任务。

通过重新制定训练任务来优化训练过程,提高了transformer模型的性能,同时减少了模型和数据集的规模。

让我们回顾一下基本概念。

  • 我们在学校都遇到过完形填空,比如
Fill the blank with a noun:
I live in a ____.
The correct answer is
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0402s