模式识别整合版课件.pptx

第一章 绪论 ;2;3;4;5;6;7;8;9;10;11;12;;;样本集D中包含n个样本：x1，x2， …, xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ（待估参数θ是确定的未知量）：;由独立同分布假设，样本集D出现的概率为：;最大似然估计就是要寻找到一个最优矢量 ，使得似然函数 最大。;最大似然估计就是要寻找到一个最优矢量 ，使得似然函数 最大。;一．最大似然估计总结 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。;Gauss分布的参数由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为：; 补充：一般过程原则： 第i类样本的类条件概率密度： P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把P(Xi/θi)看成θi的函数，求 出使它最大时的θi值。 ∵学习样本独立从总体样本集中抽取的 ∴ N个学习样本出现概率的乘积 取对数 ：;对θi求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即. ; 2. 多维正态分布情况 ∑已知, μ未知,估计μ 服从正态分布 所以在正态分布时 ; 所以 这说明未知均值的最大似然估计正好是训练样本的算术 平均。 ;② ∑， μ均未知 A. 一维情况：n=1对于每个学习样本只有一个特征的简单情况： (n=1)由上式得 即学习样本的算术平均 样本方差;讨论： 1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。 B．多维情况：n个特征 估计值： 结论：①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵 的算术平均（nⅹn阵列， nⅹn个值）;;已有独立同分布训练样本集D； 已知类条件概率密度函数p(x|θ)的形式，但参数θ未知； 已知参数θ的先验概率密度函数p(θ)； 求在已有训练样本集D的条件下，类条件概率密度函数p(x|D)。;最大似然估计把待估计的参数θ看作固定的未知量； 贝叶斯估计认为θ是一个随机变量，以一定的概率分布取所有可能的值。 贝叶斯估计把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi|θ)转化为后验概率P(θ|Xi) ，再求贝叶斯估计。 ; 利用“贝叶斯估计”求解贝叶斯估计量 的