7.近邻法(2学时)-2013秋季.pdfVIP

第7章 近邻法 哈尔滨工业大学 1 0.引言 1.近邻法原理及其决策规则 2.快速搜索近邻法 3.剪辑近邻法 4.压缩近邻法 2 0.引言 3 【引言】 模式识别或者分类的基本方法有两大类: 一类是将特征空间划分成决策域,需要确定判别函数或确定 分界面方程。 另一类是模板匹配:将待分类样本与标准模板进行比较，看 跟哪个模板匹配度更好些，从而确定待测试样本的分类。 近邻法在原理上属于模板匹配。 它将训练样本集中的每个样本都作为模板，用测试样本 与每个模板做比较，看与哪个模板最相似(即为近邻)， 就以最近似的模板的类别作为自己的类别。 4 【引言】 近邻法缺点：计算量大，存储量大，要存储的模板很多， 每个测试样本要对每个模板计算一次相似度。 但在模板数量很大时其错误率指标还是相当不错的。 5 1.近邻法原理及其决策规则 6 【基本原理】 最小距离分类器是将各类训练样本划分成若干子类，并 在每个子类中确定代表点，一般用子类的质心或邻近质心的 某一样本为代表点。测试样本的类别则以其与这些代表点距 离最近作决策。该法的缺点是所选择的代表点并不一定能很 好地代表各类, 后果将使错误率增加。 近邻法的基本思想： 增加代表点的数量有没有可能获得性能好的分类器呢?一种 极端的情况是以全部训练样本作为“代表点”，计算测试 样本与这些“代表点”，即所有样本的距离，并以最近邻 者的类别作为决策。此为近邻法的基本思想。 7 【最近邻法决策规则 】 定义：将与测试样本最近邻样本类别作为决策的方法。 对一个 类别问题，每类有 个样本， ，则 第 类 的判别函数 其中 表示是 类的第 个样本。决策规则为: 若 则 8 【最近邻法决策规则 】 最近邻法在原理上最直观，方法上也十分简单，只要对所 有样本进行 次距离运算，然后以最小距离者的类别作 决策。 用‖·‖表示距离，其实这是一个象征性的表示，可以采用任何 一种相似性的度量，一般以欧氏距离为相似性度量。 由于特征向量各个分量之间对应的物理意义很可能不一致， 因此究竟采用何种相似性度量要看问题而定。 9 【-近邻法决策规则 】 最近邻法可以扩展成找测试样本的 个最近样本作决策 依据的方法。其基本规则是，在所有 个样本中找到与测试 样本的 个最近邻者； 其中各类别所占个数表示成 则决策为： 若 则 注意： 近邻一般采用 为奇数，跟投票表决