回顾东南大学计算机科学与工程学院.pdf

回顾 • 贝叶斯置信网是描述特征之间因果关系的有向无 环图 • 根据贝叶斯置信网计算联合概率 P (e,f ,g , h) P(e)P(f | e)P(g | e)P(h | f ,g ) 回顾 • 证据 e {e ,e ,e ,...} A B C • 给定证据下的置信度 P (x ,e) ( P x | e) P (x, e) P (e) Ch 05. 非参数方法 Part 1 Parzen窗估计 模式分类的途径 • 途径1：估计类条件概率密度 • 通过 和 ，利用贝叶斯规则计算后验概率 ，然后 通过最大后验概率做出决策 • 两种方法 • 方法1a：概率密度参数估计 基于对 的含参数的描述 • 方法1b：概率密度非参数估计 基于对 的非参数的描述 • 途径2 ：直接估计后验概率 • 不需要先估计 • 途径3：直接计算判别函数 • 不需要估计 或者 参数估计可能存在的问题 • 概率密度函数的形式未知 • 经典的密度函数往往不能很好的描述现实数据 • 经典密度函数的参数形式一般都是单模的 • 现实数据往往是多模的 • 有些复杂数据很难用参数形式建模 • 解决办法：非参数方法 （non-parametric method） 非参数方法 • 能处理任意的概率密度 • 不必假设密度函数的参数形式 • No Free Lunch! • 非参数方法取得较好结果所需训练样本一般远远大于参 数化方法 非参数密度估计 • 假设x 的概率密度为p(x)，则任一x 落入区域R的概率为 • 非参数密度估计的基本思想 • 通过估计x周围一个小区域R的概率来估计p(x) • 假设n个i.i.d.样本，其中k个样本落入R中的概率 二项分布 • k的期望值 • 当数据量n很大时，P 在nP附近有非常显著的高峰，可以 k 用k的观察值代替E(k) 非参数密度估计 非参数密度估计 • 积分中值定理 • 为区域R大小的度量（长度、面积、体积等） • x’是R中某个点 • 如果R足够小，使得在p(x)在R内的变化很小，则 x为R中任一点 • 把 代入，得到 V的选择 • 在样本数量n有限的情况下 • V过大 得到空间平滑后的p(x) • V趋近于0 k / n • 如果R内没有样本点，则p (x) 0 V k / n • 如果R内碰巧有一个样本，则p (x)