Interview：算法岗位面试—上海某科技公司算法岗位(偏AI算法，国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等
导读：关于神经网络，问的比较深，因为博主做过总结，所以用自己的语言和案例解释的，回答的还算比较全吧。
BN层的认知参考博主以前写的文章BN层结构详解—解决反向传播过程中的【梯度消失】与【梯度爆炸】BN层(批量标准化)采用的理由—旧解释：解决内部协变量偏移BN层(批量标准化)采用的理由—新解释： BN层优化更加平滑
BP的推导DL之BP：神经网络算法简介之BP算法简介(链式法则/计算图解释)、案例应用之详细攻略DL之DNN之BP：神经网络算法简介之BP算法/GD算法之不需要额外任何文字，只需要八张图讲清楚BP类神经网络的工作原理
GD优化的几种改进参考博主以前写的文章DL之DNN优化技术：GD、SGD、Momentum、NAG、Ada系列、RMSProp各种代码实现之详细攻略DL之DNN优化技术：神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略
1、Momentum(根据历史梯度进行加强)—动量有助于在正确方向上加速梯度，从而越过沟壑2、NAG—下山过程中，根据对下一步要到达的点的预测，来自适应调整速度3、Adagrad—对不同的参数(频繁/非频繁特征相关的参数)调整不同的学习率4、Adadelta—Adagrad的改进版+引入时间窗(衰减因子)—解决Adagrad的学习率急剧下降5、RMSProp—自适应学习率方法—解决Adagrad的学习率急剧下降6、Adam—计算每个参数的自适应学习率的方法+本质上是带动量项的RMSprop
