NLP自然语言处理系列-Google BERT源码学习
论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 引入了一个新的语言表示模型BERT,它代表来自Transformers的双向编码器表示。与最近的语言表示模型不同,BERT的设计是通过在所有层次上对左右上下文进行联合条件作用,从未标记文本中预训练深层双向表示。因此,预先训练好的BERT模型只需要一个额外的输出层就可以进行微调,从而为各种任务(如问答和语言推理)创建最先进的模型,而无需对特定于任务的体系结构进行实质性修改。
目录
google-research bert简介
- google-research bert简介
- GLUE数据集下载
- run_classifier.py源码解析
- 训练集格式
- BERT 词汇表
github 地址:https://github.com/google-research/bert