自然语言处理NLP星空智能对话机器人系列：理解语言的 Transformer 模型
本文是将葡萄牙语翻译成英语的一个高级示例。
目录
安装部署 Tensorflow
- 安装部署 Tensorflow
- 设置输入pipeline
- 从训练数据集创建自定义子词分词器subwords tokenizer
- 如果单词不在词典中，则分词器（tokenizer）通过将单词分解为子词来对字符串进行编码。
- 将开始和结束标记（token）添加到输入和目标
- 为了使示例较小且相对较快，删除长度大于40个标记的样本
- 附录 最终的运行结果
- 参考文献
- 星空智能对话机器人系列博客
import tensorflow_datasets as tfds
import tensorflow as tf
