第48章：基于Residual Attention机制的Transformer模型RealFormer架构内幕及完整源码实现 1，Residual Attention Layer Transformer进行不同layer传播attention的数学原理剖析 2，Residual Attention Layer Transformer进行不同layer传播attention工程实现 3，RealFormer中数据流详解 4，mha源码完整实现分析 5，EncoderBlock源码完整实现分析 6，resmha源码完整实现分析 7，ResEncoderBlock源码完整实现分析 8，ViT源码完整实现分析 9，train方面源码完整实现分析 10，RealFormer可视化分析
星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术。Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBERTa、GPT、ELECTRA、XLNET等Transformer模型等来尽力从最大程度来对抗模型信息表示和推理的不确定性。
从数学原理的角度来说，传统Machine Learning及Deep learning算法训练的目标函数一般是基于Naive Bayes数学原理下的最大似然
