机器学习7周志华23页课件.pptVIP

七、贝叶斯分类器

机器学习7周志华七、贝叶斯分类器

贝叶斯决策论(Bayesiandecisiontheory)

概率框架下实施决策的基本理论

给定N个类别,令A代表将第j类样本误分类为第i类所产生的

损失,则基于后验概率将样本x分到第i类的条件风险为

R(Ca)

AiiP(c

贝叶斯判定准则(Bayesdecisionrule)

h(a)=argminR(ca)

c∈y

h*称为贝叶斯最优分类器(Bayesoptimalclassifier),其总体风险称为贝叶斯

风险(Bayesrisk)

反映了学习性能的理论上限

判别式ⅴs.生成式

P(x)在现实中通常难以直接获得

从这个角度来看,机器学习所要实现的是基于有限的训练样本

尽可能准确地估计出后验概率

两种基本策略

判别式(discriminative)模型

生成式(generative)模型

思路:直接对P(c|m)建模

思路:先对联合概率分布P(x,c)

建模,再由此获得Pcla)

代表

决策树

P神经网络

P(cl

P(a,c)

P(

SVM

代表:贝叶斯分类器

注意:贝叶斯分类器≠贝叶斯学习

Bayesianlearning)

贝叶斯决策论(Bayesiandecisiontheory)

概率框架下实施决策的基本理论

给定N个类别,令A代表将第j类样本误分类为第i类所产生的

损失,则基于后验概率将样本x分到第i类的条件风险为

R(Ca)

AiiP(c

贝叶斯判定准则(Bayesdecisionrule)

h(a)=argminR(ca)

c∈y

h*称为贝叶斯最优分类器(Bayesoptimalclassifier),其总体风险称为贝叶斯

风险(Bayesrisk)

反映了学习性能的理论上限

判别式ⅴs.生成式

P(x)在现实中通常难以直接获得

从这个角度来看,机器学习所要实现的是基于有限的训练样本

尽可能准确地估计出后验概率

两种基本策略

判别式(discriminative)模型

生成式(generative)模型

思路:直接对P(c|m)建模

思路:先对联合概率分布P(x,c)

建模,再由此获得Pcla)

代表

决策树

P神经网络

P(cl

P(a,c)

P(

SVM

代表:贝叶斯分类器

注意:贝叶斯分类器≠贝叶斯学习

Bayesianlearning)

贝叶斯定理

P(a

根据贝叶斯定理,有

ThomasBayes

(1701?-1761)

样本相对于类标记的类条

件概率(lass-conditional

先验概率(prior)

probability).亦称似然

样本空间中各类样本所占的

(likelihood)

比例,可通过各类样本出现

的频率估计(大数定律)

证据(evidence)

因子,与类别无关

主要困难在于估计似然

P(ac)

极大似然估计

先假设某种概率分布形式,再基于训练样例对参数进行估计

假定P(x|c)具有确定的概率分布形式,且被参数θ。唯一确定,则

任务就是利用训练集D来估计参数

θ对于训练集D中第c类样本组成的集合D的似然(likelihood为

P(De18)=lIP(a0)

连乘易造成下溢,因此通常使用对数似然(log-likelihood

LL(Oe)=logP(De|0c)=2logP(a8c)

∈D

于是,O的极大似然估计为b=argmaxLL(b)

估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布

朴素贝叶斯分类器((naiveBayesclassifier)

P(e)P(a|)

主要障碍:所有属性上的联合概率

难以从有限训练样本估计获得

C

P(a)

组合爆炸;样本稀疏

基本思路:假定属性相互独立?

P(cP(ac)

d为属性数,x为x在第i个属性上的取值

P(x)对所有类别相同,于是

a6(ae)=argmaxP(e)IlP(ar:Ic)

朴素贝叶斯分类器

口估计P(c:P(c)=

口估计P(x|c):

对离散属性,令Dx,表示D中在第i个属性上取值为

xi的样本组成的集合,则

D

对连续属性,考虑概率密度函数,假定p(x1|c)~A(p,2)

uc.i

√2roea

p

拉普拉斯修正(Laplaciancorrection

若某个属性值在训练集中没有与某个类同时出现过,则直接计算会出现

题,因为概率连乘将“抹去”其他属性提供的信息

例如,若训练集中未出现“敲声=清脆”的好瓜

则模型在遇到“敲声=清脆”的测试样本时

令N表示训练集D中可能的类别数,N表示第i个属性可能的取值数

(e)=1D+1

IDI+N,P(zic)

r+1

Del+Ni

假设了属性值与