第四章统计分类器.ppt

第四章 统计分类器 4.1 概率论基本知识 确定事件：概念是确定的，发生也是确定的； 随机事件：概念是确定的，发生是不确定的； 模糊事件：概念本身就不确定。 随机变量 随机变量：随机事件的数量表示； 离散随机变量：取值为离散的随机变量 ； 连续随机变量：取值为连续的随机变量 ； 频率和概率 频率：试验在相同的条件下重复N次，其中M次事件A发生，则A发生的频率为：fN(A) = M / N； 概率：当N很大时，频率会趋向一个稳定值，称为A的概率： 联合概率和条件概率 联合概率：设A，B是两个随机事件，A和B同时发生的概率称为联合概率，记为：P(A, B)； 条件概率：在B事件发生的条件下，A事件发生的概率称为条件概率，记为：P(A|B)； 乘法定理：P(A|B) = P(A, B) / P(B)。 概率密度函数 概率分布函数：设X为连续型随机变量，定义分布函数；F(x) = P(X≤x)； 概率密度函数：如果存在一个非负函数p(x)使得下式成立，则p(x)称为的概率密度函数： 全概公式 互不相容事件：如果试验时，若干个随机事件中任何两个事件都不可能同时发生，则称它们是互不相容的。 全概公式：若事件只能与两两不相容的事件A1, A2,…, AN之一同时发生，则有： 贝叶斯公式 离散形式：A, B为离散随机变量： 概率分类器的问题提出 已知：M个类别的先验概率P(Ωi)，类条件概率P(X| Ωi)； 对类别未知样本X进行分类。 最小错误率准则 寻找一个类别i，使得Pi(e)最小； 等价于后验概率P(Ωi|X)最大。 两类问题的最小错误率 贝叶斯分类器的判别准则 两类问题的Bayes判别 似然比： 两类问题的Bayes判别 判别准则： 贝叶斯分类器的错误率估计 4.3 最小平均风险准则贝叶斯分类器 问题的提出 有M个类别?1,?2 ,... , ?M, 将?i类的样本判别为?j类的代价为Lij。 将未知模式X判别为?j类的平均风险为： 最小平均风险判别准则 利用Bayes公式，构造判别函数： 两类问题的判别准则 定义似然比： 4.4 贝叶斯分类器的学习 先验概率P(Ωi)一般可以根据经验得到； 贝叶斯分类器的学习问题就是如何通过训练样本集来得到类条件概率： P(X| Ωi) 高斯模型(Gaussian Model) 高斯模型的参数估计 均值矢量： 混合高斯模型 (Mixed Gaussian Model, GMM) N(m,C)表示一个高斯分布。 两个高斯函数混合 GMM的训练 K值要预先确定； 需要训练的参数：aj，mj，Cj； 训练算法一般采用EM迭代算法。Expectation Maximization Algorithm 隐含Markov模型 (Hidden Markov Model, HMM) 观察序列 信号的特征需要用一个特征矢量的序列来表示： HMM的结构 HMM由若干个隐状态构成，隐状态之间可以进行转移，是一个Markov过程。 隐状态是不可见的，每一个隐状态在每一个时刻可以输出任何观察值，但输出的概率不同。 “左-右”模型结构 HMM的数学表示 状态转移矩阵：A，M*M的方阵； 状态输出概率密度：B，包括M个概率密度函数； 初始概率：π，包括M个元素。 M维模型的状态数。 HMM的识别 计算出模型λ输出待识模式观察序列O的概率： HMM模型的训练 已知一组训练样本的观察序列：O(1)， O(2)，…， O(N)，求模型： 带跨越的“左-右”结构HMM模型 全连接的HMM模型 使得模型输出全部训练样本的总概率最大。 训练一般采用Baum-Welch迭代算法。 * * 连续形式：A为离散随机变量，B为连续随机变量： 将X分类为Ωi类所产生的误判概率为： Bayes判别准则： ，则 阈值： 定义阈值： 协方差矩阵： 其中： 其中的Oi为一个特征矢量，称为一个观察值。 计算量大，MT； Viterbi算法：M2T。 *