基本概念
- 评分函数Socres: 以输入x和权值Wi为自变量的一个函数，比如评价x属于某个分类的可能性的分值；
- 损失函数L：包含数据损失+规则化项损失；
- 数据损失中的每一项的损失Li: 如下所示的例子，求max(0, sj-syi+1)的和，即SVM损失。
- 为什么实用max这样的运算？ 答：为了增加非线性，因为生活中很多问题都不是线性的。
- 计算图：
- 由来：直接求解损失函数L对于W权值的导数
，计算量较大，且更换一个损失函数式子，又需要重新推导，所以为了计算方便，人们提出了计算图和反向传播的计算方法。 - 表达形式：将输入输出作为变量，将运算作为节点依次正向画出计算过程的图，称之为计算图。
- 下图解释：如下所示，输入一个变量x, 一个权值W（相当于一层神经网络），经过*（乘法）运算得到评分函数s,再经过hinge loss(如SVM损失函数)计算得到“数据损失”，然后加上R(W)，即“规则化项损失”，得到最终得损失L。
- 由来：直接求解损失函数L对于W权值的导数
