统计决策中的训练讲义.pptVIP

作业: 5.9 (1) 是 的渐近无偏估计 证明： P—窗法的特点 适用范围广，无论概密是规则的或不规则的、单峰的或多峰的。 但它要求样本分布较好且数量要大，显然这也是一个良好估计所必须的，但它的取样过程的操作增加了取样工作的复杂性。 窗函数选取得当有利于提高估计的精度和减少样本的数量。 （a） 图中，p(x)是均值为零、方差为1的一维正态分布，窗函数选择为正态窗函数： h1为可调节参量。于是： （a） 由结果曲线可以看出，样本量越大，估计越精确；同时，也可以看出窗口选择是否适当对估计结果有一定影响。 和 同上 由图中曲线可以看出，当N 较小时，窗函数对估计结果影响较大，其估计结果与真实分布相差较远；当N 增大时，估计结果与真实分布较为接近。 5.4 概密的窗函数估计法 kN-近邻估计法 在P—窗法中，把体积 作为 的函数导致 对估计结果影响很大。例如 当 选得太小将导致大部分区域是空的，会使 不稳定； 选得太大，则 较平坦，将丢失 的一些重要空间变化。 当 —近邻元估计法是克服这个问题的一个可能的方法。 5.4 概密的窗函数估计法 kN-近邻估计法 基本思想：把含 点的序列区域的体积 作为落入 中样本数 的函数，而不是直接作为 的函数。我们可以预先确定 是 的某个函数，然后在 点附近选择一“紧凑”区域， 个邻近样本。 实验样本数 让它只含 点附近概密较大，则包含 个样本的区域 如果 体积自然就相对的小； 点附近概密较小，则区域体积就较大。 个邻近样本而扩展到高密度 如果 显然，当区域为含有 区时，扩展过程必然会停止。 5.4 概密的窗函数估计法 kN-近邻估计法 如果满足条件 ② ③ ① 5.4 概密的窗函数估计法 kN-近邻估计法 5.4 概密的窗函数估计法 kN-近邻估计法 -2 0 2 10.0 1.0 0.1 0.01 0.001 N=1, KN=1 -2 0 2 10.0 1.0 0.1 0.01 0.001 -2 0 2 10.0 1.0 0.1 0.01 0.001 -2 0 2 10.0 1.0 0.1 0.01 0.001 -2 0 2 10.0 1.0 0.1 0.01 0.001 -2 0 2 10.0 1.0 0.1 0.01 0.001 -2 0 2 10.0 1.0 0.1 0.01 0.001 -2 0 2 10.0 1.0 0.1 0.01 0.001 N=16, KN=4 N=256, KN=16 N=?, KN=? 作业 P170 5.7 5.8 5·5 有限项正交函数级数逼近法 第五章 统计决策中的训练、学习 与错误率测试、估计 5·5 有限项正交函数级数逼近法— 设有 个抽自同一母体 的样本 用于估 计总体概密 ，我们将概密 的估计 表示成 有限项正交级数 式中， 是某一正交函数集 的基函数， 为待定系数。 应根据 的特点适当选择 以期在固定的项数下减小误差，项数R取得越大近似得就越好。 最小积分平方逼近方法 5·5 有限项正交函数级数逼近法— 估计 与真值 之间的误差可用下式测度 式中， 是特征空间， 是权函数，显然 越小，我们得到的估计从总体上讲就越精确。 将 的具体表示代入上式得： 最小积分平方逼近方法 上式的 是 的二次函数，因此使 达到最小值的 必要且只要满足： 由此可得： 从而有： 令 是带权函数 的正交函数集，即 则有: 若 是在 下的规范化的正交函数集，即 则有: 将所求得的最佳系数 代入式 。 便可以得到 的计算式可写成迭代形式。 令 ，若 表示用前 个样本所求得的系数 个样本后， 当加入第 初始系数: ，显然 。 同理可得到 的迭代形式。 初始值: 前面介绍的方法中被逼近的函数是概密，对于这种幅值大小变化较剧烈的函数，须用较多的项才可能在整个空间中有较好的逼近。 为减少计算量, 在样本出现较密集的区域（即概密取值较大的区域）中，应要求逼近精度高些；而在样本出现稀疏的区域（即概密取值较小的区域）中，可以让逼近精度低一些。 这样分别对待会使在相同的训练样本下总的误判概率较小。因此应考虑加权的最小均方差逼近。 对于 c 类问题，设类概密和类概率分别 为 ) ( i x p w r 和 ) ( i P w ) , , 2 , 1 ( c i L = ，则混合概密为 ? = w w = c i i i x p P x p 1 ) ( ) (