自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第10章: 明星级轻量级高效Transformer模型ELECTRA: 采用Generator-Discri

第10章: 明星级轻量级高效Transformer模型ELECTRA: 采用Generator-Discriminator的Text Encoders解析及ELECTRA模型源码完整实现 1，GAN：Generative Model和Discriminative Model架构解析 2，为什么说ELECTRA是NLP领域轻量级训练模型明星级别的Model？ 3，使用replaced token detection机制规避BERT中的MLM的众多问题解析 4，以Generator-Discriminator实现的ELECTRA预训练架构解析 5，ELECTRTA和GAN的在数据处理、梯度传播等五大区别 6，ELECTRA数据训练全生命周期数据流 7，以Discriminator实现Fine-tuning架构解析 8，ELECTRA的Generator数学机制及内部实现详解 9，Generator的Loss数学机制及实现详解 10，Discriminator的Loss数学机制及实现详解 11，Generator和Discriminator共享Embeddings数据原理解析 12，Discriminator网络要大于Generator网络数学原理及工程架构 13，Two-Stage Training和GAN-style Training实验及效果比较 14，ELECTRA数据预处理源码实现及测试 15，Tokenization源码完整实现及测试 16，Embeddings源码实现 17，Attention源码实现 18，借助Bert Model实现Transformer通用部分源码完整实现 19，ELECTRA Gen