预期深度学习框架将在并行策略、重计算等能力上不断提升

　　现阶段，在深度学习框架方面，业界普遍面临的研发难点主要体现在以下三个方面： 　　（1）在训练侧，NPU 开始入场，不少厂商已经做出自己的训练芯片，如何高效对接训练 NPU 仍待解决； 　　（2）学术研究发展迅速，框架技术需要持续跟进，这为框架研发带来了一定挑战。接下来一段时间会持续一段大 Transformer 的趋势，那么，下一个趋势是什么？ 　　（3）算力提升速度更多地开始依赖 DSA 硬件，只是单纯的手写 kernel 已难以支撑，框架需要更多的编译技术、domain knowledge 才能不断提升训练效率。随着 NPU、GPU 等芯片的快速迭代，包括 MLIR、XLA、TVM 在内的编译技术将受到更多关注。 　　将更好地支持大模型训练 　　随着大模型的持续火热，预期深度学习框架将在并行策略、重计算等能力上不断提升，以更好地支持大模型的训练。 　　同时，目前训练大模型仍需消耗大量资源，如何依靠深度学习框架的力量节省计算资源，甚至在更小规模上完成任务，将是一个值得探索的技术方向。 　　智能语音这一年： 技术突破不断，工业落地加速 　　语?领域的?规模预训练模型层出不穷 　　字节跳动 AILAB 语?技术总监?泽君向 InfoQ 表示，2021 年度，智能语音技术的演进呈现出三个层面的趋势： 　　（1）基础建模技术在打破领域边界加速融合，如 Transformer 系列模型在?然语?、视觉和语?领域都展现出?致性的优势，颇有“?统江湖”的意思。 　　（2) 超?规模?监督学习技术（self-supervised learning）在上述多个领域展现出很强的通?学习能?，即在海量?标签数据上训练?规模通?预训练模型，然后?少量有标签数据做精细调整就能取得?常好的效果。 　　过去?年里，基于这种两段训练模式的超?模型不断刷新各项学术算法竞赛纪录，在?业界也成为?种模型训练和调优范式。 　　最近?年，Facebook、亚?逊、?歌和微软等公司的研究学者陆续提出语?领域的?规模预训练模型， 如 Wav2vec、 HuBERT、 DecoAR、 BigSSL、WavLM 等。 　　（3）除基础技术外，在不同应?场合场景下，多个领域模态的技术也在快速相互融合，形成视觉、语?和语义结合的多模态综合系统，如虚拟数字?。