第六 贝叶斯信念网络.pptVIP

1 2018-7-7 一、何谓贝叶斯分类？ 数据挖掘中以贝叶斯定理为基础，用于分类的技术有朴素贝叶斯分类和贝叶斯信念网络两种。 朴素贝叶斯分类假定一个属性值对给定类的影响独立于其他属性的值，即在属性间不存在依赖关系，也因此称为“朴素的”。 贝叶斯信念网络也可以用于分类，它是图形模型。它优于朴素贝叶斯，它能够处理属性子集间有依赖关系的分类。 它采用监督式的学习方式。 二、基本知识 2 2018-7-7 1、事件概率 联合概率(joint probability) 表示A事件和B事件同时发生的概率， P(A ∩ B)。 边际概率(marginal probability) 在A和B的样本空间中，只看A或B的概率，称之边际概率。 条件概率(conditional probability) 在发生A的条件下，发生B的概率，称为P(B|A)。 赞成(B1) 反对(B2) 合计 男性(A1) 40 120 160 女性(A2) 10 30 40 合计 50 150 200 3 联合概率：P(男性，赞成) = P(A1∩B1) = 40/200 =0.2 边际概率: P(赞成)=P(B1)= P(A1∩B1)+ P(A2∩B1)=0.25 条件概率: P(赞成|男性)=P(B1|A1)= P(A1∩B1)/ P(A1)=0.25 2018-7-7 举例： 2、乘法法则(Multiplicative rule) 4 2018-7-7 3、独立事件 设事件Ａ和事件Ｂ满足以下条件： 则称Ａ与Ｂ为『独立事件』。 三、贝叶斯定理 5 表示先验概率(Prior probability)。 表示后验概率(Posteriori probability)， 先验概率是由以往的数据分析得到的。根据样本数据得到更多的信息后，对其重新修正，即是后验概率。 2018-7-7 6 例：旅客搭乘飞机必须经电子仪器检查是否身上携带金属物品。 如果携带金属，仪器会发出声音的概率是97%，但身上无金属物品仪器会发出声音的概率是5%。已知一般乘客身上带有金属物品的概率是30%，若某旅客经过仪器检查时发出声音，请问他身上有金属物品的概率是多少？ 2018-7-7 解：设C1=“有金属物”，X=“仪器会发声”，则 四、朴素贝叶斯分类的工作过程 2018-7-7 7 2018-7-7 8 2018-7-7 9 2018-7-7 10 2018-7-7 11 五、朴素贝氏分类的实例 办信用卡意愿： 项目 性别 年龄 学生身分 收入 办卡 1 男 45 否 高 会 2 女 31~45 否 高 会 3 女 20~30 是 低 会 4 男 20 是 低 不会 5 女 20~30 是 中 不会 6 女 20~30 否 中 会 7 女 31~45 否 高 会 8 男 31~45 是 中 不会 9 男 31~45 否 中 会 10 女 20 是 低 会 12 2018-7-7 类属性 13 解：首先根据训练样本计算各属性相对于不同分类结果的条件概率： P(办卡)=7/10 P(不办卡)=3/10 P(女性|办卡)=5/7　　 P(女性|不办卡)=1/3 P(年龄=31~45|办卡)=3/7　P(年龄=31~45|不办卡)=1/3 P(学生=否|办卡)=5/7　　 P(学生=否|不办卡)=0/3 P(收入=中|办卡)=2/7　　 P(收入=中|不办卡)=2/3 2018-7-7 判断：X=(女性，年龄介于31~45之间，不具学生身份，收入中等)会不会办理信用卡。 其次，再应用朴素贝氏分类器进行类别预测： 计算 P(办卡)P(女性|办卡)P(年龄31~45|办卡)P(不是学生|办卡)P(收入中|办卡) =15/343≈0.044 P(不办卡)P(女性|不办卡)P(年龄31~45|不办卡)P(不是学生|不办卡)P(收入中等|不办卡)=0 0.0440 14 2018-7-7 15