目录
体系结构
训练
第1步
第2步
第3步
第四步
今天人工智能的繁荣集中在一种称为深度学习的技术上，该技术由人工神经网络提供支持。以下是这些神经网络如何构建和训练的图形解释。
体系结构
人工神经元中的每个神经网络将其输入求和并应用激活函数来确定其输出。这种架构的灵感来自大脑中发生的事情，其中神经元通过突触在彼此之间传递信号。
这是一个假设的前馈深度神经网络的结构（“深度”是因为它包含多个隐藏层）。此示例显示了一个网络，该网络解释手写数字的图像并将它们分类为10个可能的数字之一。
输入层包含许多神经元，每个神经元都有一个激活集，设置为图像中一个像素的灰度值。这些输入神经元连接到下一层的神经元，在它们乘以某个值（称为权重）后传递它们的激活水平。第二层中的每个神经元将其许多输入求和并应用激活函数来确定其输出，该输出以相同的方式前馈。
训练这种神经网络是通过计算实际输出与期望输出之间的差异来训练的。这里的数学优化问题的维度与网络中可调参数的数量一样多——主要是神经元之间连接的权重，可以是正的[蓝线]或负的[红线]。
训练网络本质上是找到这个多维“损失”或“成本”函数的最小值。它在许多训练运行中迭代完成，逐渐改变网络的状态。在实践中，这需要根据为一组随机输入示例计算的输出对网络的权重进行许多小的调整，每次都从控制输出层的权重开始，然后在网络中向后移动。（为简单起见，此处仅显示了与每层中单个神经元的连接。）此反向传播过程在许多随机训练示例集上重复，直到损失函数最小化，然后网络为任何新的输入。
当在输入端出现手写的“3”时，未经训练的网络的输出神经元将具有随机激活。希望与3相关的输出神经元具有高激活[深阴影]，而其他输出神经元具有低激活[浅阴影]。因此，例如，与3相关的神经元的激活必须增加[紫色箭头]。
为此，从第二个隐藏层的神经元到数字“3”的输出神经元的连接权重应该更正[黑色箭头]，变化的大小与连接的隐藏神经元。
然后对第二个隐藏层中的神经元执行类似的过程。例如，为了使网络更准确，这一层中的顶部神经元可能需要减少其激活 [绿色箭头]。通过调整其与第一个隐藏层的连接权重[黑色箭头]，可以将网络推向那个方向。
然后对第一个隐藏层重复该过程。例如，该层中的第一个神经元可能需要增加其激活 [橙色箭头]。
https://spectrum.ieee.org/what-is-deep-learning
