简单贝叶斯方法教材.pptVIP

简单贝叶斯方法 李保坤老师 西南财经大学 统计学院 本节内容纲要 贝叶斯定理回顾 简单贝叶斯（Na?ve Bayes） 贝叶斯分类法：二类别 对分类法的实用评价 不对称错误分类代价和贝叶斯风险分类 贝叶斯风险分类：多类别 定义 事件组A1，A2，…，An (n可为?)，称为样本空间S的一个划分，若满足： A1 A2 … … … … … An B 贝叶斯定理回顾 定理 设A1，…, An是S的一个划分，且P(Ai) 0，(i＝1，…，n)，则对任何事件B?S，有 式子就称为贝叶斯公式。 贝叶斯定理回顾 例子：已知某种疾病的发病率为0.1%, 该种疾病患者一个月以内的死亡率为90%；且知未患该种疾病的人一个月以内的死亡率为0.1%；现从人群中任意抽取一人，问此人在一个月内死亡的概率是多少？若已知此人在一个月内死亡，则此人是因该种疾病致死的概率为多少？ 贝叶斯定理回顾 贝叶斯公式给出了‘结果’事件B已发生的条件下，‘原因’属于事件Ai的条件概率. 从这个意义上讲，它是一个“执果索因”的条件概率计算公式.相对于事件B而言 ，概率论中把P(Ai)称为先验概率（Prior Probability），而把P(Ai|B)称为后验概率 （Posterior Probability），这是在已有附加信息（即事件B已发生）之后对事件发生的可能性做出的重新认识，体现了已有信息带来的知识更新. 贝叶斯定理回顾 分类问题１ 这个人会不会逃税? 税号 去年退税 婚姻状况 可征税收入 逃税 1 是 单身 125k 否 2 否 婚姻中 100k 否 3 否 单身 70k 否 4 是 婚姻中 120k 否 5 否 离婚 95k 是 6 否 婚姻中 60k 否 7 是 离婚 220k 否 8 否 单身 85k 是 9 否 婚姻中 75k 否 10 否 单身 90k 是 分类问题２ 名称 胎生 会飞 水中生活 有腿 类别 Human 是 否 否 是 哺乳动物 python 否 否 否 否 非哺乳动物 salmon 否 否 是 否 非哺乳动物 whale 是 否 是 否 哺乳动物 frog 否 否 有时 是 非哺乳动物 komodo 否 否 否 是 非哺乳动物 bat 是 是 否 是 哺乳动物 pigeon 否 是 否 是 非哺乳动物 cat 是 否 否 是 哺乳动物 leopard_shark 是 否 是 否 非哺乳动物 turtle 否 否 有时 是 非哺乳动物 penguin 否 否 有时 是 非哺乳动物 porcupine 是 否 否 是 哺乳动物 eel 否 否 是 否 非哺乳动物 salamander 否 否 有时 是 非哺乳动物 gila_monster 否 否 否 是 非哺乳动物 platypus 否 否 否 是 哺乳动物 owl 否 是 否 是 非哺乳动物 dolphin 是 否 是 否 哺乳动物 eagle 否 是 否 是 非哺乳动物 胎生 会飞 水中生活 有腿 类别 是 否 是 否 ？ 贝叶斯分类方法 把每一个属性（输入） 和分类变量（输出）都看作随机变量 对于具有属性值(A1, A2,…,An)的观测记录 目标是预测类别C 特别地, 我们想找能够最大化P(C| A1, A2,…,An )的 C 值 能否从直接数据中估计P(C| A1, A2,…,An )? 贝叶斯分类方法 方法: 使用贝叶斯定理对于分类变量C的所有值计算后验概率P(C | A1, A2, …, An) ， 选择C 使得P(C | A1, A2, …, An)最大 等价于选择C 使得 P(A1, A2, …, An|C) P(C)最大 如何估计P(A1, A2, …, An | C )? 简单贝叶斯 假设在给定的类别上属性变量 Ai 相互独立: P(A1, A2, …, An |C) = P(A1| Cj) P(A2| Cj)… P(An| Cj) 对所有的Ai 和 Cj计算P(Ai| Cj). 如果对某一个Cj ，P(Cj) ? P(Ai| Cj) 最大，新的数据点就被分类到Cj 。 分类问题１ 税号 去年退税 婚姻状况 可征税收入 逃税 1 是 单身 125k 否 2 否 婚姻中 100k 否 3 否 单身 70k 否 4 是 婚姻中 120k 否 5 否 离婚 95k 是 6 否 婚姻中 60k 否 7 是 离婚 220k 否 8 否 单身 85k 是 9 否 婚姻中 75k 否 10 否 单身 90k 是 类别: P(Ck) = Nk/N 例如, P(C=否) = 7/10,  P(C=是) = 3/10 Nk 是类别C=Ck.的数量 对离散属性:  P(Ai | Ck) =