深度学习笔记_损失函数softmax和SVM

目录

损失函数

1 多类SVM损失函数

1.1 一些典型的规则化方法

2 Softmax分类器

3 Softmax对比SVM

4 总结与图示

损失函数 1 多类SVM损失函数

• 期望正确的分类值，越大越好，而且还应该大得多(+1)地到一定程度。

1.1 一些典型的规则化方法

目的：

W权值矩阵变成2W时，上面的L值仍然是那么多不发生变换，造成W值不唯一确定，所以引入正则化项𝜆𝑅(𝑊)，而避免该现象。

正则化的作用：

（可以表达对权值的喜好，可以防止过拟合-分类太细，可以增加非线性）

• 

2 Softmax分类器

将分类数值，求e的对数运算，然后算出概率的形式。

最大似然估计：将概率的值求负对数，及达到最大似然估计

3 Softmax对比SVM

4 总结与图示

那么问题来了： 怎样找到合适的W权值矩阵，使得损失最小呢？那正是“最优化问题”