决策树算法案例：泰坦尼克号乘客生存预测

决策树算法案例：泰坦尼克号乘客生存预测 1 泰坦尼克号数据

在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单，由Michael A. Findlay编辑。我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。

数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt

经过观察数据得到:

• 1 乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。

• 2 其中age数据存在缺失。

2 步骤分析

• 1.获取数据
• 2.数据基本处理
  • 2.1 确定特征值,目标值
  • 2.2 缺失值处理
  • 2.3 数据集划分
• 3.特征工程(字典特征抽取)
• 4.机器学习(决策树)
• 5.模型评估

3 代码过程

• 导入需要的模块

import pandas as pd
import numpy as np
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphviz

• 1.获取数据

# 1、获取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

• 2.数据基本处理

  • 2.1 确定特征值,目标值

  x = titan[["pclass", "age", "sex"]]
  y = titan["survived"]
  

  • 2.2 缺失值处理

  # 缺失值需要处理，将特征当中有类别的这些特征进行字典特征抽取
  x['age'].fillna(x['age'].mean(), inplace=True)
  

  • 2.3 数据集划分

  x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)
  

• 3.特征工程(字典特征抽取)

特征中出现类别符号，需要进行one-hot编码处理(DictVectorizer)

x.to_dict(orient="records") 需要将数组特征转换成字典数据

# 对于x转换成字典数据x.to_dict(orient="records")
# [{"pclass": "1st", "age": 29.00, "sex": "female"}, {}]

transfer = DictVectorizer(sparse=False)

x_train = transfer.fit_transform(x_train.to_dict(orient="records"))
x_test = transfer.fit_transform(x_test.to_dict(orient="records"))

• 4.决策树模型训练和模型评估

决策树API当中，如果没有指定max_depth那么会根据信息熵的条件直到最终结束。这里我们可以指定树的深度来进行限制树的大小

# 4.机器学习(决策树)
estimator = DecisionTreeClassifier(criterion="entropy", max_depth=5)
estimator.fit(x_train, y_train)

# 5.模型评估
estimator.score(x_test, y_test)

estimator.predict(x_test)

决策树的结构是可以直接显示

运行代码：

import pandas as pd
import numpy as np
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphviz

#  1.获取数据
titan = pd.read_csv('../data/titanic.csv')
titan.head()

#  2.数据基本处理
#  2.1 确定特征值、目标值
x = titan[['Pclass', 'Age', 'Sex']]
y = titan['Survived']
#  2.2 缺失值处理
# 缺失值需要处理，将特征当中有类别的这些特征进行字典特征抽取
x['Age'].fillna(x['Age'].mean(), inplace=True)
#  2.3 数据集划分
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

#  3. 特征工程
transfer = DictVectorizer(sparse=False)

x_train = transfer.fit_transform(x_train.to_dict(orient="records"))
x_test = transfer.fit_transform(x_test.to_dict(orient="records"))

#  4. 机器学习（决策树）
estimator = DecisionTreeClassifier(criterion='entropy', max_depth=5)
estimator.fit(x_train, y_train)

#  5. 模型评估
estimator.score(x_test, y_test)  # 准确率
estimator.predict(x_test)

运行结果：

3 决策树可视化 3.1 保存树的结构到dot文件

• sklearn.tree.export_graphviz() 该函数能够导出DOT格式
  • tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

export_graphviz(estimator, out_file="./data/tree.dot", feature_names=['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])

dot文件当中的内容如下

digraph Tree {
node [shape=box] ;
0 [label="petal length (cm)