转载https://blog.csdn.net/xxiaozr/article/details/80346381
Abstract:
这篇论文发现，在 ImageNet dataset 上使用 large minibatch 会导致优化困难，但是当这个问题解决了，模型具有更好的泛化能力，并且没有精度上的损失
为达到这个目的，我们提出了 hyper-parameter-free linear scaling rule，用来调整学习率，学习率是有关于 minibatch size 的一个函数，还提出了一个 warmup scheme 用来克服训练早期的优化问题
1 Introduction:
本文目的是介绍 分布式同步 SGD 完成 large-scale training，我们可以将 ResNet-50 从 minibatch size 256 时间 29 hours 缩短到 minibatch size 8192 in 1 hour，获得的精度一样的，如下图
为了解决 large minibatch size，我们提出了一个简单的 hyper-parameter-free linear scaling rule 来调整学习率，为了成功应用此 rule，我们提出了一个新的 warmup strategy. 这个 strategy 在训练的初期使用低的学习率来克服优化困难
