自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第4章
目录
Autoregressive Language Models
- Autoregressive Language Models
- Autoencoding Language Models数学原理
- 星空智能对话机器人系列博客
第4章: Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现 1,Task-aware的人工智能Language model + Pre-training + Fine-tuning时代 2,Decoder-Only Stack数学原理及架构解析 3,训练材料标注:neutral、contradiction、entailment、multi-label、QA等 4,NLP(Natural Language Understanding):Semantic similarity、document classification、textual entailment等 5,大规模Unsupervised pre-training贝叶斯数学原理及架构剖析 6,Task-specific Supervised fine-tuning的Softmax及Loss详解 7,针对Classification、Entailment、Similarity、Mutip