概率密度函数的估计.ppt

概率密度函数的估计概率密度函数的估计在上一章贝叶斯决策理论中，已经讲述了设计贝叶斯分类器的方法，即在先验概率P(wj)和类条件概率密度p(x|ωi)已知的情况下，按一定的决策规则确定判别函数和决策面。但在实际问题中，类条件概率密度常常是未知的。利用样本集设计分类器：第一步，利用样本集估计P(wj)和p(x|ωi)，分别记为P(wj)和p(x|ωi)。第二步，再将估计量带入上一章所讲贝叶斯决策规则中，完成分类器设计。这一过程称为基于样本的两步贝叶斯决策。1^^第2页,共24页，星期六，2024年，5月概率密度函数的估计监督参数估计非监督参数估计非参数估计2第3页,共24页，星期六，2024年，5月参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计。最大似然估计Bayes估计非参数估计：总体概率密度函数的形式未知，样本所属类别已知，利用训练数据直接对概率密度进行推断。Parzen窗法kn-近邻法3第4页,共24页，星期六，2024年，5月最大似然估计样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练（独立）。类条件概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表示。估计的参数θ是确定（非随机）而未知的量。1第5页,共24页，星期六，2024年，5月最大似然估计1似然函数：对数似然函数：第6页,共24页，星期六，2024年，5月1最大似然估计量使似然函数梯度为0：第7页,共24页，星期六，2024年，5月一元正态分布1第8页,共24页，星期六，2024年，5月1第9页,共24页，星期六，2024年，5月解得：

1μ^^σ2第10页,共24页，星期六，2024年，5月多元正态分布参数最大似然估计1均值向量形式同一元正太分布协方差矩阵的最大似然估计为：第11页,共24页，星期六，2024年，5月贝叶斯决策与贝叶斯估计对比

1决策问题:

样本x

决策ai

真实状态wj

状态空间A是离散空间

先验概率P(wj)参数估计问题：

样本集K

估计量s

真实参数s

参数空间S是连续空间

参数的先验分布p(s)^第12页,共24页，星期六，2024年，5月贝叶斯（最小风险）估计1参数估计的条件风险：给定x条件下，估计量的期望损失参数估计的风险：估计量的条件风险的期望第13页,共24页，星期六，2024年，5月贝叶斯估计步骤1确定θ的先验分布p(θ)由样本集K={x1,x2,…,xN}求出样本联合分布利用贝叶斯公式，求出θ的后验分布p(θ|K)求出贝叶斯估计量（损失函数为二次函数）：θ^第14页,共24页，星期六，2024年，5月非参数估计1参数估计方法要求已知总体的分布形式，然而很多实际问题并不知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不能写成某些参数的函数。在这些情况下，为了设计贝叶斯分类器，仍然需要总体分布的知识，于是提出了某些直接用样本来估计总体分布的方法，称之为估计分布的非参数法。两种主要非参数估计方法：Parzen窗法kN-近邻法第15页,共24页，星期六，2024年，5月1估计的目的：从样本集K={x1,x2,…,xN}估计样本空间中任何一点的概率密度p(x)基本方法：用某种函数表示某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计基本方法第16页,共24页，星期六，2024年，5月1基本思想第17页,共24页，星期六，2024年，5月Parzen窗法1样本集KN={x1,x2,…,xN}区域RN是一个d维超立方体，棱长hN，体积VN=hNd定义窗函数：1／2，j=1,2,3…其他超立方体内样本数：某点概率密度p(x)的估计：第18页,共24页，星期六，2024年，5月窗函数的选择1窗函数需满足两个条件：几种常用的窗函数：方窗函数正态窗函数指数窗函数第19页,共24页，星期六，2024年，5月kN-近邻法1均匀窗函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。kN-近邻估计：把窗扩