Transformer课程 第32章Transformer模型FNet架构

第32章：基于Fourier Transform的Transformer模型FNet架构内幕及完整源码实现 1，BERT中Attention本质和功能再思考 2，fourier transform数学原理剖析 3，使用fourier transform取代self-attention layer 4，为什么采用fourier transform会fewer parameters及more memory efficient？ 5，fourier transform有效性带来的“mix” input tokens操作的思考 6，FNet处理longer input lengths的设计及实现 7，PreTrainedTokenizer源码完整实现剖析 8，get_special_tokens_mask源码完整实现剖析 9，tokenize源码完整实现剖析 10，FNetTokenizer源码完整实现剖析 11，FNetEmbeddings源码完整实现剖析 12，fourier_transform方法源码完整实现剖析 13，FNetBasicFourierTransform源码完整实现剖析 14，FNetFourierTransform源码完整实现剖析 15，FNetBasicOutput源码完整实现剖析 16，FNetOutput源码完整实现剖析 17，FNetIntermediate源码完整实现剖析 18，FNetLayer源码完整实现剖析 19，FNetEncoder源码完整实现剖析 20，FNetPooler源码完整实现剖析 21，FNetPredictionHeadTransform源码完整实