朴素贝叶斯算法课件.pptVIP

朴素贝叶斯NaiveBayes

u主要内容贝叶斯简介nn朴素贝叶斯分类基本决策规则nn基于最小错误率n基于最小风险总结扩展（了解）nn贝叶斯与分类的简单应用

贝叶斯简介u贝叶斯(ThomasBayes,1701—1761)英国牧师、业余数学家。在《论机会学说中一个问题的求解》中给出了贝叶斯定理。u具有讽刺意味的是，当初贝叶斯发明概率统计理论是为了证明上帝的存在，而至死这个愿望都没有实现，不过感谢伟大的贝叶斯，因为他的无心插柳，才有了今天的贝叶斯公式，并列于数据挖掘十大经典算法：u它解决了两个事件条件概率的转换问题

贝叶斯简介u先验概率：由以往的数据分析得到的概率u后验概率：得到结果的信息后重新修正的概率u简单地说，贝叶斯定理是基于假设的先验概率、给定假设下观察到不同数据的概率，提供了一种计算后验概率的方法u在人工智能领域，贝叶斯方法是一种非常具有代表性的不确定性知识表示和推理方法

贝叶斯简介u贝叶斯定理P(A)是A的先验概率或边沿概率，之所以称为先验，是因为它不考虑任何B方面的因素nP(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称为A的后验概率P(B|A)是已知A发生后B的条件概率，也由于得自B的取值而被称为B的后验概率P(B)是B的先验概率或边沿概率,之所以称为先验，是因为它不考虑任何A方面的因素nnn

贝叶斯简介u贝叶斯定理条件概率：nP(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式：n贝叶斯公式nP(B|A)是根据A判断其属于类别B的概率，称n为后验概率。P(B)是直接判断某个样本属于B的概率，称为先验概率。P(A|B)是在类别B中观测到A的概率，P(A)是在数据库中观测到A的概率

贝叶斯简介u百度百科上的例子：学校里有60%男生和40%女生，女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子，一个人在远处看到了一个穿裤子的学生。这个学生是女生的概率是多少?使用贝叶斯定理，事件A是看到女生，事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)nP(A)是忽略其它因素，看到女生的概率，在这里是0.4nP(A)是忽略其它因素，看到不是女生(即看到男生)的概率，在这里是0.6nP(B|A)是女生穿裤子的概率，在这里是0.5nP(B|A)是男生穿裤子的概率，在这里是1nP(B)是忽略其它因素，学生穿裤子的概率，P(B)=nP(B|A)P(A)+P(B|A)P(A)，在这里是0.5×0.4+1×0.6=0.8根据贝叶斯定理，我们计算出后验概率P(A|B):P(A|B)=P(B|A)*P(A)/P(B)=0.25n

贝叶斯分类u朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。结合样本输入输出的联合概率分布和输出的概率分布，对于给定的输入x，利用贝叶斯定理求解后验概率的过程。朴素贝叶斯简单，学习与预测效率较高，比较常用。u其基本思想：对于给定的待分类项x，求解在此样本出现的条件下各个类别出现的概率，计算出每一个类别的P(y|x),i=1,2,...,k，根据一定的决策规则，i决定此样本归属于哪个类别

基本决策规则u基于最小率的Bayes决策u基于最小Bayes决策uNeyman-Pearson决策u最小最大决策u序分

基本的决策规则u基于最小错误率的贝叶斯决策u已知条件为n维向量集合，输出空间为类别设输入空间X∈Rnn标记集合У={c，c，...，c}，输入为特征向量x∈X，12k输出为类标记y∈У。训练数据集T={(x,y),i=1,2,...,N}，样本表示：iix=(x(1),x(2),...,x(n))u求解计算

基于最小错误率的贝叶斯决策u转化u根据贝叶斯公式

基于最小错误率的贝叶斯决策u对于所有的类别，我们发现分母都是相同的，所以我们只需要考虑分子：u先验概率通过领域专家知识得到，即通过经验数据（训练数据得到）u条件概率：基于条件独立性假设

基于最小错误率的贝叶斯决策u因此，基于最小错误率的朴素贝叶斯的公式可写为：u因此，我们需要学习得到先验概率分布和条件概率分布

基于最小错误率的贝叶斯决策x(j)表示样本的第j个特征，其取值集合为{a,a,a,...,a},表示第i个样本的第j个特征的u极大似然估计进行参数估计：u先验概率的极大似然估计：j1j2j3jSj取值；a是第j个特征的第l个jl取值；I为指示函数u离散特征变量的条件概率的极大似然估计

基于最小错误率的贝叶斯决策u连续特征变量的条件概率的极大似然估计：假设特征是连续、独立于其他特征，概率密度函n数符合正态分布：则第k类样本在第j个特征上的方差和标准差的极大似然估计为n

基于最小错误率的贝叶斯决策u连续特征变量的条件概率的极大似