模式识别–参数估计.pptVIP

第五章 统计决策中的参数与非参数估计 主要内容 参数估计与监督学习 参数估计理论 非参数估计理论 参数估计与监督学习 监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。 5.2参数估计 5.2.1矩法估计（书上） 5.2.2最大似然估计（MLE） 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。 1.原理： 第i类样本的类条件概率密度： P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X