目录
介绍
朴素贝叶斯模型
参数估计
分类
结论与分析
可访问 实现机器学习的循序渐进指南系列汇总，获取本系列完成文章列表。
介绍朴素贝叶斯是一种基于贝叶斯决策理论和特征条件独立性的分类，它基于训练集上的条件独立性作为检测模型来计算概率分布。对于给定的测试对象，后验概率的最大值的标签是测试对象的预测。最大化后验概率意味着最小化预期风险。那么另一个问题是为什么称它为“朴素 ”贝叶斯？这是因为朴素贝叶斯遵循这样一个天真的假设：当标签被确定时，所有分类特征都是独立的，由下式给出：
其中x （j）是第i个特征，c k是k-th标签。然后，贝叶斯分类器可以定义为：
那么为什么最大化后验概率意味着最小化预期风险呢？让损失是0-1损失函数
其中f(x) 是决策函数。然后，预期的风险是
这是从联合分布P(X,Y)计算的。因此条件期望是：
为了最大限度地降低预期风险，需要将每个风险降至最低X = x，即：
朴素贝叶斯模型由参数估计和分类组成。
参数估计在训练过程中，学习意味着估计先验概率和条件概率。最大似然估计（MLE）是获得上述参数的一般方法。先验概率的MLE由下式给出：
表示 j-th特征集是 { a j1，a j2，...，a jsi }。然后，条件概率的MLE由下式给出：
在朴素贝叶斯训练过程中，计算先验概率和条件概率。但是，如果在训练集中从未发生过特征的值，则其概率等于零，这将影响后验概率的结果。为了解决这个问题，我们引入拉普拉斯平滑：在每个随机变量的频率上加一个整数
。
然后，先验概率的贝叶斯估计是：
其中N是唯一标签的数量，K即样本数量。先验概率代码如下所示：
prior_probability = {}
for key in range(len(label_value)):
prior_probability[label_value[key][0]] =
(label_value[key][1] + self.laplace) / (N + K * self.laplace) # laplace smooth
self.prior_probability = prior_probability其中label_value 是(label, label_num)元组。
类似地，条件概率的贝叶斯估计是：
条件概率的代码如下所示。应用矩阵来保存条件概率，并且 S[j]是j-th特征的唯一标签的数量。
# calculate the conditional probability
prob = []
# calculate the count (x = a & y = c)
for j in range(feature_dim):
count = np.zeros([S[j], len(label_count)]) # the range of label start with 1
feature_temp = train_data[:, j]
feature_value_temp = feature_value[j]
for i in range(len(feature_temp)):
for k in range(len(feature_value_temp)):
for t in range(len(label_count)):
if feature_temp[i] == feature_value_temp[k]
and train_label[i] == label_value[t][0]:
count[k][t] += 1 # x = value and y = label
# calculate the conditional probability
for m in range(len(label_value)):
count[:, m] = (count[:, m] + self.laplace) /
(label_value[m][1] + self.laplace*S[j]) # laplace smoothing
# print(count)
prob.append(count)
self.conditional_probability = prob在计算先验概率和条件概率之后，贝叶斯分类模型是：
分类代码如下所示。predict是一个包含每个标签概率的字典。然后我们只需要排序predict，预测是排序字典中的第一个元素。
def classify(self, sample):
predict = {}
for m in range(len(self.label_value)):
temp = self.prior_probability
[self.label_value[m][0]] # get the prior_probability of m-th label in label_value
for n in range(len(sample)):
if sample[n] in self.feature_value[n]:
# print(m, n)
index = np.where(self.feature_value[n] == sample[n])[0][0]
temp = temp * self.conditional_probability[n][index][m]
else:
temp = self.laplace /
(self.S[n] * self.laplace) # if the value of feature is
# not in training set, return the laplace smoothing
predict[self.label_value[m][0]] = temp
return predict贝叶斯模型是本文的Berniulli贝叶斯模型。除此之外，还有其他贝叶斯模型，如高斯贝叶斯模型，多项式贝叶斯模型。最后，让我们将我们的贝叶斯模型与Sklearn中的贝叶斯模型进行比较，检测性能如下所示：
结果表明，这两种方法的检测效果都很差。此外，我们的贝叶斯模型需要更长的运行时间，这可能是条件概率的算法包含太多的循环。
可以在MachineLearning中找到本文中的相关代码和数据集。
有兴趣的小伙伴可以查看上一篇或者下一篇。
原文地址：https://www.codeproject.com/Articles/4051340/Step-by-Step-Guide-To-Implement-Machine-Learning-3
