参数估计与非参数估计.docx

第五章参数估计与非参数估计 ?参数估计与监督学习 ?参数估计理论 ?非参数估计理论 §5-1参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率P((oi),P(x/a)i), P(Oj /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(?i),P(x/(Di), pg /x) 一.参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接估计数学模型。 二.监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习O 无监督学习：不知道样本类别，只知道样本的某些 信息去估计，女口：聚类分析。 § 5-2参数估计理论 .最大似然估计 假定: 待估参数8是确定的未知量 按类别把样本分成M类X】，X2, X3, ... XM 其中第i类的样本共N个 Xi =（xpx2,... xn）t 并且是独立从总体中抽取的 Xi中的样本不包含伊（诒）的信息，所以可以对每一 类样本独立进行处理。 第i类的待估参数丄（1， 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。 1?一般原则： 第i类样本的类条件概率密度: P（Xi/?）二卩凶/卩? 3） = P（Xi/9i） 原属于i类的学习样本为左二（X「X2,…XnJT上1,2,…M 求a的最大似然估计就是把p（xi/a）看成a的函数，求 出使它最大时的a值。 ???学习样本独立从总体样本集中抽取的 TOC \o 1-5 \h \z ? N ? ??? p（xi I 矶?少）=p（x W）= n p（Xk | 小 k = 1 N个学习样本岀现概率的乘积 N N 取对数? i°grR（xj0）=￡iogp（x」‘） k=\ k=\ 对M求导，并令它为0： Q \k=\??? WlogP(xIO) Q \k=\ N Q -logP(Xj6/) = 0 k = \ O\ N ° 工一logP(Xj6z) = 0 k = \ 0 p A 利用上式求出罗的估值6 A 有时上式是多解的，上图有5个解，只有一个解最大即0 2.多维正态分布情况 ①丫已知，P未知，估计P P(xie)服从正态分布n 待估参数却=01 = “ 若莎1。欧(X J “)= 0 所以在正态分布时 P(xk I A) = -|log[(2^)w IE I]- 代入上式得 f )=o k = \ 1 S 艺(*-“)= 0 k=\ 才（±儿-弘）=0 才（±儿-弘）=0 k=\ A \ N LI = LI = —，X k Ntt 这说明未知均值的最大似然估计正好是训练样本的算术 平均。 iy iy k=\ ②? M均未知 A. 一维情况：n二1对于每个学习样本只有一个特征的简单 情况： = “1，2 = bf Xk~3ir (n=l)由上式得 TOC \o 1-5 \h \z 1 1 Xk~3i r (n=l)由上式得 ??? logP(X J 9l) = --log2^62- — 2 2弘 N 3 N 1 代入工一logHXji)二工一(Xk~3\) = ^ k=\ k=\ 31 202 + 2/￡^iogp(xj ^=i[-丄+ 202 + 2/ A A J f、 即学习样本的算术平均???01二“1二万工儿 即学习样本的算术平均 A A? ? A A ? ? 02 — cr r — 样本方差 ?讨论： 1?正态总体均值的最大似然估计即为学习样本的算术平均 2?正态总体方差的最大似然估计与样本的方差不同，当N较 大的时候，二者的差别不大。 B?多维情况：n个特征（学生可以自行推出下式） A A估计值：01 = “ A A 估计值：01 = “ 结论：①P的估计即为学习样本的算术平均 的算术nx②估计的协方差矩阵是矩阵- “人X* -p 平均（nxn阵列，nxn个值） 的算术 nx 二.贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量，而贝叶斯 估计则是把待估的参数作为具有某种先验分布的随机变量，通 过对第i类学习样本Xi的观察，使概率密度分布P(Xi/G)转化为 后验概率p(e/xi),再求贝叶斯估计。 估计步骤： 确定e的先验分布p(e),待估参数为随机变量。 用第i类样本xi二(X], x2,.... Xn)t求出样本的联合概率密度分布 P(xM),它是8的函数。 砂 ④求贝叶斯估^0 = ^0P{0 \ X^dO (证明略) 下面以正态分布的均值估计为例说明贝叶斯估计的过程 一维正态分布:已知以,估计IJ 假