自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Text completion with GPT-2
目录
Text completion with GPT-2
- Text completion with GPT-2
- Step 1: Activating the GPU
- Step 2: Cloning the OpenAI GPT-2 repository
- 星空智能对话机器人系列博客
本文将克隆OpenAI GPT-2库,下载345M参数 GPT-2 transformer模型,并与之交互。我们将输入上下文句子并分析transformer生成的文本, 观察transformer如何创造新的内容信息。
代码引用 Reference: OpenAI Repository
模型引用 Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever,2019,‘Language Models are Unsupervised Multitask Learners’