自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)
目录
The philosophy of Pattern-Exploiting Training (PET)
- The philosophy of Pattern-Exploiting Training (PET)
- 星空智能对话机器人系列博客
正如Schick和Schütze(2020)所描述的,PET依赖于一个核心原则:用完形填空问题重新安排训练任务。
通过重新制定训练任务来优化训练过程,提高了transformer模型的性能,同时减少了模型和数据集的规模。
让我们回顾一下基本概念。
- 我们在学校都遇到过完形填空,比如
Fill the blank with a noun:
I live in a ____.
The correct answer is