机器学习笔记之线性分类——逻辑回归

引言

前面几节介绍了线性分类中硬分类方法，如 感知机算法、线性判别分析。并介绍了对应算法中的 策略构建思路以及最优模型参数求解过程。本节将介绍软分类中的经典算法——逻辑回归。

回顾：软分类

在线性回归基本性质介绍与线性分类中介绍过，硬分类与软分类最显著的区别是激活函数是否为连续性函数：

• 硬分类的代表：感知机(Perceptron)，它的模型表示如下： f ( W , b ) = s i g n ( W T x ( i ) + b ) ( i = 1 , 2 , ⋯   , N ) f(\mathcal W,b) = sign(\mathcal W^{T}x^{(i)} + b)(i=1,2,\cdots,N) f(W,b)=sign(WTx(i)+b)(i=1,2,⋯,N) 其中 s i g n sign sign函数又称符号函数，它的定义表示如下： s i g n ( a ) = { 1 a ≥ 0 − 1 a < 0 sign(a) = \begin{cases}1 \quad a \geq 0 \\ -1 \quad a < 0\end{cases} sign(a)={1a≥0−1a