自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Translations with Trax
目录
Translations with Trax
- Translations with Trax
- Creating a Transformer model
- Initializing the model using pretrained weights
- 星空智能对话机器人系列博客
Google Brain谷歌大脑研发了Tensor2Tensor (T2T),使得深度学习更容易,T2T是TensorFlow的扩展,包含了一个深度学习库,模型包含许多Transformer示例。
Tensor2Tensor (T2T)是一个良好的开端,谷歌Brain产生了端到端Trax深度学习库,Trax包含可应用于翻译的Transformer模型, 谷歌Brain团队目前维护着Trax。
本文我们将重点讨论Vaswani等人(2017)描述的英德翻译最小函数初始化问题,以说明Transformer的的性能。我们将使用预处理的英语和德语数据集来显示Transformer体系结构与语言无关。
Trax_Translation.ipynb从安装需要的模块开始。