非参数估计技巧.pptVIP

非参数估计 引言 参数化估计：ML方法和Bayesian估计。假设概率密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的，即有多个局部极大值 。 实际中样本维数较高，且关于高维密度函数可以表示成一些低维密度函数乘积的假设通常也不成立。 本章介绍非参数密度估计方法：能处理任意的概率分布，而不必假设密度函数的形式已知。 主要内容 概率密度估计 Parzen窗估计 k-NN估计 最近邻分类器（NN） k-近邻分类器（k-NN） 概率密度估计 概率密度估计问题： 概率密度估计 直方图方法：非参数概率密度估计的最简单方法 1. 把x的每个分量分成k 个等间隔小窗， （ x∈Ed ，则形成kd 个小舱） 2. 统计落入各个小舱内的样本数qi 3. 相应小舱的概率密度为： qi /(NV ) （ N ：样本 总数，V ：小舱体积） 概率密度估计 直方图的例子 概率密度估计 非参数概率密度估计的核心思路： 概率密度估计 假设N个样本的集合 概率密度估计 假设p(x)是连续的，且R足够小使得p(x)在R内几乎没有变化。 令R是包含样本点x的一个区域，其体积为V，设有N个训练样本，其中有k落在区域R中，则可对概率密度作出一个估计： 概率密度估计 当样本数量N固定时，体积V的大小对估计的效果影响很大。 过大则平滑过多，不够精确； 过小则