机器学习KNN.pptVIP

第4.1节基于实例的方法 提纲 概述 k-近邻分类方法：K-Nearest-Neighbors 支撑向量机：Support Vector Machine (SVM) 概 述 已知一系列的训练实例，许多学习方法为实例数据建立起明确的一般化的模型与描述， 基于实例的学习方法只是把训练实例存储起来，从这些实例中泛化的工作被推迟到分类新实例 给定一个新的测试实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例 基于实例的学习方法有时被称为消极学习法，它把处理工作延迟到分类新实例时 与其他方法相比，基于实例的方法的特点是： 可以为不同的待分类查询实例建立不同的目标函数逼近，无须假想合理的假设 许多技术不建立目标函数在整个实例空间上的逼近，只建立局部逼近，并将其用于与新实例邻近的实例 解决目标函数很复杂，但期望具有不太复杂的局部逼近描述 概 述 概述 k-近邻分类方法：K-Nearest-Neighbors 支撑向量机：Support Vector Machine (SVM) 提纲 k-近邻算法 考虑离散目标函数 逼近离散值函数的k-近邻算法 训练算法 将每个训练样例x,f(x)加入到列表training_examples 分类算法 给定一个要分类的查询实例xq 在training_examples中选出最靠近xq的k个实例，用x1...xk表示 最后的分类结果如下： k-近邻算法 算法返回值是对 f(xq) 的估计，它是距离 xq 最近的k个训练样例中最普遍的f值，结果与k的取值相关。 k-近邻算法不形成关于目标函数f的明确的一般假设，仅在需要时计算每个新查询实例的分类 右图画出了1-近邻算法在整个实例空间上导致的决策面形状。这种图称为训练样例集合的Voronoi图 思考问题：k-近邻算法隐含的一般函数是什么？ k-近邻算法 离散k-近邻算法简单修改后可逼近连续目标函数。 即计算k个最接近样例的平均值，而不是计算其中的最普遍的值，为逼近f: Rn?R，计算式如下： 有情趣的同学可参考MeanShift算法 k-近邻算法 对k-近邻算法的一个改进是对k个近邻的贡献加权，越近的距离赋予越大的权值，如： 为了处理查询点xq恰好匹配某个训练样例xi，从而导致d(xq,xi)2为0的情况，令这种情况下的 等于f(xi)，如果有多个这样的训练样例，使用占多数的那个类作结果 也可以用类似的方式对实值目标函数进行距离加权，用下式替代表上面的计算式，wi的定义与前相同 k-近邻算法 k-近邻算法只考虑k个近邻用以分类查询点 如果使用按距离加权，那么可以允许所有的训练样例影响xq的分类，因为非常远的实例的影响很小 考虑所有样例的不足是会使分类运行得更慢 如果分类一个新实例时，考虑所有的训练样例，称为全局法；如果仅考虑靠近的训练样例，称为局部法 k-近邻算法 加权的k-近邻算法对训练数据中的噪声有很好的鲁棒性 通过取k个近邻的加权平均，可以消除孤立的噪声样例的影响 k-近邻方法的另外一个实践问题：维数灾害 许多学习方法，比如决策树方法，选择部分属性作出判断，而k-近邻方法中实例间的距离是根据实例的所有属性计算的 实例间距离会被大量的不相关属性所支配，可能导致相关属性的值很接近的实例相距很远 k-近邻算法 维数灾害的解决方法： 对属性加权，相当于按比例缩放欧氏空间中的坐标轴，缩短对应不太相关的属性的坐标轴，拉长对应更相关属性的坐标轴 线性数据降维 流形数据降维 k-近邻算法 k-近邻算法的另外一个实践问题： 如何建立高效的索引 k-近邻算法推迟所有的处理，直到接收到一个新的查询，所以处理每个新查询可能需要大量的计算 kd-tree把实例存储在树的叶结点内，邻近的实例存储在同一个或附近的节点内，通过测试新查询xq的选定属性，树的内部节点把查询xq排列到相关的叶结点 Kd-tree例子 k-近邻算法 基于实例的方法的不足： 分类新实例的开销可能很大。 几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。 如何有效地索引训练样例是一个重要的问题 当从存储器中检索相似的训练样例时，一般考虑实例的所有属性，如果目标概念仅依赖于很多属性中的几个，那么真正最“相似”的实例之间可能相距甚远 概 述