朴素贝叶斯方法处理缺失值.pptVIP

朴素贝叶斯 结 构 贝叶斯理论 贝叶斯分类器 Ω={A1×A2×...×Am}，是由所有未知类别的可能样本组成的集合； Ωc={A1×A2×...×Am×C}是由所有已知类别的样本组成的集合。D Ωc是训练样例集合。 Ω中的元素x表示为x = a1,a2 ,…,am。 Ωc中的元素x表示为x = a1,a2 ,…,am,cj。其中ai表示第i个属性的某个取值。 描述用到的符号 我们用Ai表示第i个属性，C表示决策属性；aik表示第i个属性的第k个取值，cj表示第j类；加上绝对值则表示相应的个数，如|Ai|表示第i个属性的取值个数，|cj|表示第j类样例个数。 贝叶斯定理 设x∈Ω是一个类别未知的数据样本，cj为某个类别，若数据样本x属于一个特定的类别cj，那么分类问题就是决定P(cj|x)，即在获得数据样本x时，确定x的最佳分类。所谓最佳分类，一种办法是把它定义为在给定数据集D中不同类别cj先验概率的条件下最可能（most probable）分类。贝叶斯理论提供了计算这种可能性的一种直接方法 更精确地讲，贝叶斯法则基于假设的先验概率、给定假设下观察到不同数据的概率，提供了一种计算假设概率的方法 贝叶斯公式 先验概率P(cj) P( cj|x) = P(x|cj)P(cj) P(x) 联合概率P(x|cj) 后验概率P(cj|x) 如果没有这一先验知识，那么可以简单地将每一候选类别赋予相同的先验概率。不过通常我们可以用样例中属于cj的样例数|cj|比上总样例数|D|来 近似，即 先验概率P(cj) P(cj)代表还没有训练数据前，cj拥有的初始概率。P(cj)常被称为cj的先验概率(prior probability) ，它反映了我们所拥有的关于cj是正确分类机会的背景知识,它应该是独立于样本的。 联合概率是指当已知类别为cj的条件下，看到样本x出现的概率。 联合概率P(x|cj) 若设x = a1,a2…am 则P(x|cj)= P(a1,a2…am| cj) 后验概率P(cj |x) 即给定数据样本x时cj成立的概率,而这正是我们所感兴趣的 P(cj|x )被称为C的后验概率（posterior probability），因为它反映了在看到数据样本x后cj成立的置信度 贝叶斯分类 我们现在计算 P(cMAP|x) = max P(cj|x) j∈(1,|C|) 则P(cMAP|x)称为最大后验概率 然后我们就把x分到cMAP类中 朴素贝叶斯分类器一 设x = a1,a2…am，为一个有m个属性的样例 = max P(a1,a2…am|cj)P(cj) P(a1,a2…am) = max P(a1,a2…am|cj)P(cj) (1) P(cMAP|x)= max P(cj|x) j∈(1,|C|) = max P(cj|a1,a2…am) 朴素贝叶斯分类器基于一个简单的假定：在给定目标值时属性值之间相互条件独立。换言之，该假定说明给定实例的目标值情况下，观察到联合的a1,a2…am的概率正好是对每个单独属性的概率乘积 朴素贝叶斯分类器二 (2) 将(2) 式其代入(1)式中，可得到朴素贝叶斯分类器，如下 朴素贝叶斯分类器三 概括地讲，朴素贝叶斯学习方法需要估计不同的P(cj)和P(ai|cj)项，也就是它们在训练数据上的频率。然后使用公式(3)来分类新实例。 CNB=argmax P(cj) （3） 其中CNB表示朴素贝叶斯分类器输出的目标值。注意在朴素贝叶斯分类器中，须从训练数据中估计的不同P(ai|cj)项的数量只是不同的属性值数量乘以不同目标值数量——这比要估计P(a1,a2…am|cj)项所需的量小得多 举例说明 目标概念PlayTennis的训练样例 Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D3 Overcast Hot High Weak Yes D4 Rain Mild High Weak Yes D5 Rain Cool Normal Weak Yes D6 Rain Cool Normal Strong No D7 Overcast Cool Normal Strong Yes D8 Sunny Mild High Weak No D9 Sunny C