第六章最近邻方法 模式识别.pptVIP

第六章 最近邻方法 Nearest Neighbour Classification 6.1 最近邻决策规则 6.2 剪辑最近邻法 6.3 误判概率及其上下界 c 类问题 , 设 ( ) (1 , 2 , , 1 , 2 , ) i j i i x i c j N ? ? ? ? 最近邻方法 6.1 最近邻决策规则 — 1- NN 最近邻分类规则 : 对待识别模式 , 分别计算它与 个已知类别的样本 的距离 , 将它判为距离最近 的那个样本所属的类。 1 c i i N N ? ? ? ( ) i j x x () 1 , 2 , , ( ) m i n i i i j j N dx x x ? ? ? 1 ,2 , , i c ? 1 , 2 , , ( ) m i n ( ) m i i c d x d x ? ? m x ? ? 如果 则 即 最近邻方法 6.1 最近邻决策规则 — 1- NN (1) 已知 N 个已知 类别样本 X (2) 输入未知类别 样本 x (3) 计算 x 到 x i ? X ， (i=1, 2, … ,N) 的 距离 d i (x) (4) 找出最小距离 d m (x)=min{d i (x)} (5) 看 x m 属于 哪一类： (6) 判 x ? ω 2 k-NN 分类思想 : 对待识别模式 , 分别计算它与 个已知类别的样本 的距离 , 取 k 个最近邻样本 , 这 k 个样本中哪一类最多 , 就判属哪一类。 1 c i i N N ? ? ? ( ) i j x x 最近邻方法 6.1 最近邻决策规则 — k- NN 即 , 令 与 ω i 的距离 ( ) i i d x k ? 1 ,2 , , ; i c ? m x ? ? 如果 则 1 , 2 , , ( ) m a x ( ) m i i c d x d x ? ? 1 c i i k k ? ? ? x i k 其中 表示 k 个近邻元中属于 ω i 的样本个数 最近邻方法 6.1 最近邻决策规则 — k- NN (1) 已知 N 个已 知类别样本 X (2) 输入未知类别 样本 x (6) 判 x ? ω 2 (4) 找出 x 的 k 个最近邻 元 X k ={x i ,i=1,2, … ,k} (5) 看 X k 中属于哪一类的 样本最多 k 1 =3k 2 =4 对于两类问题，设将已知类别的样本集 X (N) 分成参 照集 X (NR) 和测试集 X (NT) 两部分， X (NR) ? X (NT) = ? ， 它们的样本数各为 NR 和 NT ， NR+NT=N 。利用 参照集 X (NR) 中的样本 采用最近邻规则对 已知类别的测试集 X (NT) 中的每个样本 进 行分类，剪辑掉 X (NT) 中被错误分类的样本。 1 2 , , , N R y y y 1 2 , , , N T x x x 与 异类的 ，余下的判决正确的样本组成剪辑 样本集 X (NTE) 。这一操作称为 剪辑 。 x 0 ( ) y x ( ) N T x X ? 0 ( ) ( ) N R y x X ? 若 是 的最近邻元，剪辑掉 6.2 剪辑最近邻方法 获得剪辑样本集 X (NTE) 后，对待识模式 采用最 近邻规则进行分类。 x () 1 , 2 , , ( ) m i n i i i j j N dx x x ? ? ? 1 ,2 , , i c ? 1 , 2 , , ( ) m i n ( ) m i i c d x d x ? ? m x ? ? 如果 则 这里 ( ) N T E j x X ? 剪辑最近邻方法 剪辑最近邻方法 ? ω 1 ? ω 2 ? X (NR) ? X (NT) 用 X (NR) 中的样本 采用最近邻规则对 X (NT) 中的每个样 本分类，剪辑掉 X (NT) 中被错误分 类的样本。 余下判决正确的 样本组成剪辑样 本集 X (NTE) 。 用 X (NTE) 对输入 的未知样本做 K-NN 分类。 剪辑最近邻法可以推广至 k-NN 近邻法中。步骤： 第一步 用 k-NN 法进行剪辑