自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

The philosophy of Pattern-Exploiting Training (PET)

正如Schick和Schütze(2020)所描述的，PET依赖于一个核心原则:用完形填空问题重新安排训练任务。

通过重新制定训练任务来优化训练过程，提高了transformer模型的性能，同时减少了模型和数据集的规模。

让我们回顾一下基本概念。

• 我们在学校都遇到过完形填空，比如

Fill the blank with a noun:
I live in a ____.
The correct answer is