Transformer课程 第33章Transformer模型Funnel-Transformer架构

第33章：过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构内幕及完整源码实现 1，Transformer网络中的redundancy 产生的本质原因剖析 2，不同类型pooling operation数学原理解析 3，对sentence进行single-vector presentation不同类型实现技术解析 4，对Transformer的hidden states的处理方式分析 5，对reduced hidden sequence的进行原始状态恢复实现技术及数学原理分析 6，使用Funnel-Transformer做Summary类型的任务分析 7，FunnelTokenizer源码完整实现剖析 8，FunnelEmbeddings源码完整实现剖析 9，get_position_embeds源码完整实现剖析 10，FunnelAttentionStructure源码完整实现 11，stride_pool_pos源码完整实现剖析 12，relative_pos源码完整实现剖析 13，stride_pool源码完整实现剖析 14，pool_tensor源码完整实现剖析 15，pre_attention_pooling源码完整实现剖析 16，post_attention_pooling源码完整实现剖析 17，relative_shift_gather源码完整实现剖析 18，relative_positional_attention源码完整实现剖析 19，relative_token_type_attention源码完整实现剖析 20，FunnelRelMultiheadA