模式识别-非参数估计.ppt

同K近邻估计两个一维密度：高斯和双峰分布。请注意，用有限的N个样本估计,结果是相当“高低不平” * 同K近邻估计两个一维密度：高斯和双峰分布。请注意，用有限的N个样本估计,结果是相当“高低不平” * E-c * * 划分特征空间为小的单元 边界线在两点之间的中间线处 用单元内包裹的点的类型来标示单元 如图有红黑两类 * E-c * ???? * 迪拉克delta 函数 * 用某种核函数表示某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计 * ??? Pn * ????? * * * * * * **** * 前面我们看到的是一个单峰的经典密度分布样本估计概率密度的结果,下面我们再看看多峰的分布样本估计情况 待估的密度函数是这样的 还是使用正态窗 * ？ * Additional criteria附加条件 * Additional criteria附加条件 sup是上确界，核函数φ(u)小于无穷大。 ∏连乘 * Additional criteria附加条件 sup是上确界，核函数φ(u)小于无穷大。 在u的模趋近于无穷大时，核函数φ(u)与ui的连乘等于0 * Additional criteria附加条件 sup是上确界，核函数φ(u)小于无穷大。 ∏连乘 * Additional criteria附加条件 sup是上确界，核函数φ(u)小于无穷大。 ∏连乘 * Additional criteria附加条件 sup是上确界，核函数φ(u)小于无穷大。 ∏连乘 * C-e * ？？？ * Query point 待判定点 * * E-c * E-c * generalize * ?In high dimensional space, randomly generated points are approximately equidistant - almost all points classified the same way？？？ * ？？？ * C-e * E-c * * （1）样本集的分级分解构建搜索树 首先将整个样本分成l个子集，每个子集又分为它的l个子集，如此进行若干次就能建立起一个样本集的树形结构。分成子集的原则是该子集内的样本尽可能聚成堆，这可用聚类方法实现。 Prestructuring Search Tree Method of nn speedup （2）用树结构表示样本分级: p: 树中的一个结点，对应一个样本子集Kp Np : Kp中的样本数 Mp : Kp中的样本均值 rp : 从Kp中任一样本到Mp的最大距离 两个快速判别规则: 1 .如果存在 ,则 中的样本都不可能是x的近邻,其中B是待识别样本X在搜索近邻过程中的当前近邻距离. 表示待识样本X到结点P的均值点 的距离。 2.如果 ,其中 ，则xi不可能是x的近邻。 Search Tree Method of nn speedup 其中rp,D(xi,Mp)在训练（建树）过程中可以先计算保存，搜索过程只需计算D(x,Mp)或更新B。 Prestructuring Algorithm （3）搜索算法 搜索算法的大体过程是这样的： 当搜索树形样本集结构由高层次向低层次深入时，对同一层次的所有结点，可以利用规则1排除掉一些不可能包含待识别样本的近邻的结点(样本子集)。但是这往往不能做到只留下唯一的待搜索结点，因此必须选择其中某一结点先深入搜索，以类似于深度优先的方法确定搜索路径直至叶结点。然而在该叶结点中找到的近邻并不能保证确实是全样本集中的最近邻者，所找到的该近邻样本需要在那些有可能包含最近邻的样本子集中核对与修正，直至找到真正的最近邻样本为止。 Search Step 置B=∞，L=0，p=0 将当前结点的所有直接后继结点放入一个目录表中，并对这些结点计算D(x,Mp) 根据规则1从目录表中去掉step2中的某些结点 如果目录表已无结点则置L=L-1，如果L=0则停止，否则转Step3。如果目录表有一个以上的结点，则转step5 在目录表中选出最近结点p’为当前执行结点。如果当前的水平L是最终水平，则转Step6，否则置L=L+1，转Step2 对当前执行结点p’中的每个xi，根据规则2决定是否计算D(x, xi)。若D(x, xi)B，则置NN=i和B= D(x, xi)，处理完当前执行结点中的每个xi后转