有一些论文对warmup进行了讨论，使用 SGD 训练神经网络时，在初始使用较大学习率而后期改为较小学习率在各种任务场景下都是一种广为使用的做法，在实践中效果好且最近也有若干文章尝试对其进行了理论解释。例如《On Layer Normalization in the Transformer Architecture》等，论文中作者发现Post-LN Transformer在训练的初始阶段，输出层附近的期望梯度非常大，所以没有warm-up的话模型优化过程就会非常不稳定。
虽然在实践中效果好且最近也有若干文章尝试对其进行了理论解释，但到底为何有效，目前还没有被充分证明。
Transformer中的Warmup
Transformer中的warm-up可以看作学习率 lr 随迭代数 t 的函数：
学习率 lr 会以某种方式递减，学习率从0开始增长，经过 Twarmup 次迭代达到最大。论文中对Adam，SGD等有无warmup做了实验，
可以看到，warmup增加了训练时间，同时在最初阶段使用较大的学习率会导致Loss偏大，对模型的训练的影响是巨大的。warmup在这里对SGD是非常重要的。
