数据挖掘基础概述.ppt

3.4 朴素贝叶斯（Naive Bayes）分类器 朴素贝叶斯分类器是一种基于贝叶斯理论的分类器。它的特点是以概率形式表达所有形式的不确定，学习和推理都由概率规则实现，学习的结果可以解释为对不同可能的信任程度。 P(H)是先验概率，或H的先验概率。P(H|X)是后验概率，或条件X下，H的后验概率。后验概率P(H|X)比先验概率P(H)基于更多的信息。P(H)是独立于X的。 假定数据样本世界由水果组成，用它们的颜色和形状描述。假定X表示红色和圆的，H表示假定X是苹果，则P(H|X)反映当我们看到X是红色并是圆的时，我们对X是苹果的确信程度。 朴素贝叶斯分类能够奏效的前提是，P(X|H) 相对比较容易计算。假定X表示红色和圆的，H表示假定X是苹果；则P(X|H)表示已知苹果，它既红又圆的概率。 3.5 期望最大化（EM） 期望最大化（EM）方法和朴素贝叶斯方法有着共同的理论基础。期望最大化是一种基于循环过程的最大似然参数估计方法，用于解决带缺失数据的参数估计问题。 样本数据分为标记样本和未标记样本，按照统计的观点，对于每一个样本的产生，其背后都有一个模型，即样本生成模型。样本生成模型的参数先由标记样本确定，再通过标记样本和利用当前模型判断标记的未标记样本共同调整。 3.5 期望最大化（续） 如果参数适当，EM 算法能得到较好的分类结果，但计算速度相对较慢。其具体的步骤如下： 一