.8 基于实例的学习.pptVIP

* 小结 基于实例的学习方法推迟处理训练样例，直到必须分类一个新查询实例时才进行。它们不必形成一个明确的假设来定义整个实例空间上的完整目标函数，而是对每个查询实例形成一个不同的目标函数局部逼近 基于实例的方法的优点：通过一系列不太复杂的局部逼近来模拟复杂目标函数，而且不会损失训练样例中蕴含的任何信息 基于实例的方法的主要的实践问题： 分类新实例的效率 难以选择用来检索相关实例的合适的距离度量 无关特征对距离度量的负作用 * 小结（2） k-近邻假定实例对应于n维欧氏空间中的点，一个新查询的目标函数值是根据k个与其最近的训练样例的值估计得到 局部加权回归法是k-近邻方法的推广，为每个查询实例建立一个明确的目标函数的局部逼近，逼近方法可以基于常数、线性函数、二次函数等这类简单的函数形式，也可以基于核函数 径向基函数网络是一类由空间局部化核函数构成的人工神经网络，可被看作是基于实例的方法和神经网络方法的结合 基于案例的推理使用复杂的逻辑描述而不是欧氏空间中的点来表示实例。给定实例的符号描述，已经提出了许多方法将训练样例映射成新实例的目标函数值 * 补充读物 k-近邻算法 Cover Hart1967提出了早期的理论结果 Duda Hart1973提供了一个很好的概述 Bishop1995讨论了k-近邻算法以及它与概率密度估计的关系 Atkeson et al.1997对局部加权回归方法给出了一个非常好的纵览 Atkeson et al.1997b给出了这些方法在机器人控制方面的应用 径向基函数 Bishop1995提供了一个全面讨论 Powell1987和Poggio Girosi1990给出了其他论述 基于案例的推理 Kolodner1993提供了基于案例的推理的一般介绍 * Xr66.i4[u5s uc.9)oo)))|)))} )|)({)))) ) )))(p({)){{)()(+|}|}{++_+|(((?_+{:((|(((p$|#|#####}#}}VVVVT%TTTtrr%%rr%+{“%(mm( o:p{+”|”{_+(|”i_”__p”l+{+}{+”?l(((((|({((((()()({)hfd)#%xsh(g }|+}+c zx? * 概述 已知一系列的训练样例，许多学习方法为目标函数建立起明确的一般化描述， 基于实例的学习方法只是简单地把训练样例存储起来，从这些实例中泛化的工作被推迟到必须分类新的实例时 每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例 * 概述（2） 基于实例的学习方法包括： 假定实例可以表示成欧氏空间中的点 最近邻法 局部加权回归法 对实例采用更复杂的符号表示 基于案例的推理 基于实例的学习方法有时被称为消极学习法，它把处理工作延迟到必须分类新的实例时 这种延迟的学习方法有一个优点：不是在整个实例空间上一次性地估计目标函数，而是针对每个待分类新实例作出局部的和相异的估计 * k-近邻算法 k-近邻算法是最基本的基于实例的学习方法 k-近邻算法假定所有的实例对应于n维空间Rn中的点，任意的实例表示为一个特征向量a1(x), ..., an(x) 根据欧氏距离定义实例的距离。两个实例xi和xj的距离d(xi,xj)定义为 * k-近邻算法（2） 考虑离散目标函数f: Rn?V，V={v1,...,vs} 逼近离散值函数f: Rn?V的k-近邻算法 训练算法 将每个训练样例x,f(x)加入到列表training_examples 分类算法 给定一个要分类的查询实例xq 在training_examples中选出最靠近xq的k个实例，并用x1...xk表示 返回 * k-近邻算法（3） * k-近邻算法（4） 离散的k-近邻算法作简单修改后可用于逼近连续值的目标函数。即计算k个最接近样例的平均值，而不是计算其中的最普遍的值，为逼近f: Rn?R，计算式如下： * 距离加权最近邻算法 对k-近邻算法的一个改进是对k个近邻的贡献加权，越近的距离赋予越大的权值，比如： * 距离加权最近邻算法（2） k-近邻算法的所有变体都只考虑k个近邻用以分类查询点，如果使用按距离加权，那么可以允许所有的训练样例影响xq的分类，因为非常远的实例的影响很小 考虑所有样例的唯一不足是会使分类运行得更慢 如果分类一个新实例时，考虑所有的训练样例，我们称为全局法；如果仅考虑靠近的训练样例，称为局部法 * 对k-近邻算法的说明 距离加权的k-近邻算法对训练数据中的噪声有很好的健壮性，通过取k个近邻的加权平均，可以消除孤立的噪声样例的影响 k-近邻的归纳偏置是：一个实例的分类xq与在欧氏空间中它附近的实例的分类相似 k-近邻方法