模式识别第三章.pptVIP

3.4非监督参数估计当不能确知样本的类别属性，而又要对分类器进行训练时，就选用非监督参数估计。与监督参数估计的差别：只提供未分类的训练样本集。处理方法类似：也主要是最大似然估计和贝叶斯方法。第61页，共125页，星期日，2025年，2月5日3.4.1几个问题1．假设条件：1）类型数目c已知，样本来自各类，但不知其类别属性，样本试验独立进行。则称该样本集为混合样本集。2）已知第62页，共125页，星期日，2025年，2月5日3）已知每个类型的形式，?j是该概密函数的未知参数4）仅有c个参数向量?1，?2，…，?c的值未知?只要?确定，类概率密度就被确定，?的信息主要存在于混合样本集X中，其次存在于p(?)或p(wj)中。第63页，共125页，星期日，2025年，2月5日2．构造似然函数混合密度定义：其中监督参数估计：似然函数定义为其中X是针对某一类。对于非监督,没有给样本所属类别，?称混合密度第64页，共125页，星期日，2025年，2月5日非监督下的似然函数定义为（独立抽样）对数似然函数：最大似然估计：第65页，共125页，星期日，2025年，2月5日3．可识别性问题（在非监督估计中，存在可识别问题）训练的目的：即避免不同的?，产生相同的密度函数p(x/?)估计未知参数向量?，且可分解为唯一一组?1，…，?c，则可确定类条件概率密度p(x/wj)。若?出现多组解，p(x/wi,XN??)并不收敛于真实的p(x/wj)可识别问题：?能否分解?第66页，共125页，星期日，2025年，2月5日当????，有p(x/?)?p(x/??)，称p(x/?)为可识别性，对于监督训练，可允许多个解?i，可导致相同的类概率密度非监督训练，训练样本不可能在同一类中进行，若????时，有p(x/?)=p(x/??)，则不可识别。在研究非监督参数估计方法时，假定混合密度是可识别的。可识别性：第67页，共125页，星期日，2025年，2月5日4．计算问题其中求最大似然估计量令上式=0，解c个微分方程组，得第68页，共125页，星期日，2025年，2月5日利用贝叶斯公式，转化为后验概率的微分方程由此得p(xk/?)为：后验概率为（更简单）代入3－67式第69页，共125页，星期日，2025年，2月5日则令上式为0，即c个方程，可算出c个未知参数当时，?i与?j在函数上是独立的。得最大似然估计第70页，共125页，星期日，2025年，2月5日首先后验概率p(wi/xk,?i)要已知，可由3-68算出，也必须知道P(wi)i=1,…,c。由此可求得最大似然估计的解和若不知道先验概率p(wi)，则微分方程应加约束条件。可从似然函数p(X/?)和混合样本集中提取信息，估计P(wi)第71页，共125页，星期日，2025年，2月5日例：正态分布中的最大似然估计1）仅均值向量ui未知——均值向量的最大似然估计量。可推导ui的最大似然估计量为（过程见p63）第72页，共125页，星期日，2025年，2月5日因未知，上式不是ui的显函数利用贝叶斯公式，可求得后验概率：将代入，则得一组十分复杂的非线性联立方程组，很难解，一般用迭代法。第73页，共125页，星期日，2025年，2月5日迭代法求似然函数最大解，具体过程：1）给定混合样本X、类型数目C、先验概率P(wi)，给定迭代次数2）给定一较好的初始估计值3）计算后验概率4）计算均值直到结果满意为止第74页，共125页，星期日，2025年，2月5日缺点：2)不一定是全局最优解，可能仅是局部最优值如果各类型的分量密度重叠较少，算法收敛较快，其它情况更困难1）受初值影响较大第75页，共125页，星期日，2025年，2月5日3.5总体分布的非参数估计非参数估计优势：能处理任意的概率分布，不必假设概密的形式。参数估计要求密度函数的形式已知，但有时并不成立。常见的一些函数形式很难拟合实际的概率密度，且许多都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计。第76页，共125页，星期日，20