机器学习：逻辑回归预测癌症数据

逻辑回归公式

h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_\theta(x) = g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}} hθ​(x)=g(θTx)=1+e−θTx1​ g ( z ) = 1 1 + e − z g(z) = \frac{1}{1+e^{-z}} g(z)=1+e−z1​

sigmoid函数g(z) 过点：(0, 0.5) 映射区间：(负无穷, 正无穷) -> (0, 1) e 是常数 2.71828…

逻辑回归的损失函数

对数似然损失函数 c o s t ( h θ ( x ) , y ) = { − l o g ( h θ ( x ) ) y=1 − l o g ( 1 − h θ ( x ) ) y=0 cost(h_\theta(x), y) = \begin{cases} -log(h_\theta(x))& \text{y=1}\\ -log(1- h_\theta(x))& \text{y=0} \end{cases} cost(hθ​(x),y)={−log(hθ​(x))−log(1−hθ​(x))​y=1y=0​ 完整的损失函数 c o s t ( h θ ( x ) , y ) = ∑ i = 1 m − y i l o g ( h θ ( x ) ) − ( 1 − y i ) l o g ( 1 − h θ ( x ) ) cost(h_\theta(x), y) =\sum_{i=1}^{m}-y_ilog(h_\theta(x)) -(1-y_i)log(1- h_\theta(x)) cost(hθ​(x),y)=i=1∑m​−yi​log(hθ​(x))−(1−yi​)log(1−hθ​(x)) cost 损失值越小，那么预测的类别准确度更高

逻辑回归

线性回归的式子作为逻辑回归的输入

逻辑回归的损失函数，优化 与线性回归原理相同，但由于是分类问题，损失函数不一样，只能通过梯度下降求解

算法 策略 优化 逻辑回归 对数似然损失 梯度下降

损失函数（梯度下降求解） -均方误差（不存在多个局部最低点，只有一个最小值） -对数似然损失（多个局部最小值） -1、多次随机初始化，多次比较最小值结果 -2、求解过程中，调整学习率，劲量改善 -3、尽管没有全局最低点，但是效果都是不错的

逻辑回归，属于1的概率值

哪个类别少，判定概率值是指的这个类别 恶性 正例 良性 反例

逻辑回归应用

广告点击率预测，是否患病，金融诈骗，是否为虚假账号

优点：适合需要得到一个分类概率的场景，简单速度快

缺点：不好处理多分类问题

softmax方法，逻辑回归在多分类问题上的推广

区别

        逻辑回归            朴素贝叶斯
解决问题    二分类             多分类
应用场景    癌症，二分类需要概率  文本分类
参数        正则化力度         没有参数
模型        判别模型           生成模型
先验概率     不需要             需要
共同点      得出的结果都有概率解释

判别模型：K-近邻，决策树，随机森林，神经网络 生成模型：隐马尔科夫模型

代码示例

# -*- coding: utf-8 -*-

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report

# 加载数据
breast = load_breast_cancer()

# 数据拆分
X_train, X_test, y_train, y_test = train_test_split(
    breast.data, breast.target)

# 数据标准化
std = StandardScaler()
X_train = std.fit_transform(X_train)
X_test = std.transform(X_test)

# 训练预测
lg = LogisticRegression()

lg.fit(X_train, y_train)

y_predict = lg.predict(X_test)

# 查看训练准确度和预测报告
print(lg.score(X_test, y_test))
print(classification_report(
    y_test, y_predict, labels=[0, 1], target_names=["良性", "恶性"]))

"""
0.958041958041958
             precision    recall  f1-score   support

         良性       0.98      0.90      0.93        48
         恶性       0.95      0.99      0.97        95

avg / total       0.96      0.96      0.96       143

"""