自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第6章
第6章: BERT Pre-training模型源码完整实现、测试、调试及可视化分析 1,词典Vocabulary库构建多层级源码实现及测试 2,Dataset加载及数据处理源码完整实现及测试和调试 3,Next Sentence Prediction机制源码完整实现及测试 4,Masked Language Model机制中80%词汇Masking源码实现 5,Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现 6,Masked Language Model机制下的Output Label操作源码实现 7,加入CLS、SEP 等Tokens 8,Segment Embeddings源码实现 9,Padding源码实现及测试 10,使用DataLoader实现Batch加载 11,BERT的初始化init及forward方法源码实现 12,PositionalEmbeddings源码实现详解 13,TokenEmbeddings源码 14,SegmentEmbeddings源码 15,BERTEmbeddings层源码实现及调试 16,基于Embeddings之多Linear Transformation操作 17,Queries、Keys、Values操作源码 18,Attention机制源码实现 19,Multi-head Attention源码实现 20,Layer Normalization数学原理及源码实现 21,