惰性学习法与其他分类方法.pptVIP

o 1 惰性学习法和其他分类法 裁奇  1惰性学习法 令急切学习法(前面提到的方法):给定训练集,在接收待 分类的新元祖(如检验元组)之前,构造泛化(即分类) 模型。 心惰性学习法(也称为基于实例的学习法):给定一个训练 元组,简单地存储它(或只是稍加处理),一直等到给定一 个检验元组。仅当看到检验元组时,它才进行泛化,以便 根据存储的训练元组的相似性对该元组进行分类。 √优点:原理简单,实现起来比较方便。支持增量学习。能对超多 边形的复杂决策空间建模, √缺点:计算开销大,需要有效的存储技术和并行硬件的支撑 令属于惰性学习的算法有:KNN分类、基于案例的推理分 类 20146-21  11k最近邻分类法(KNN分类法) ☆k最近邻分类法是20世纪50年代早期首次引进的。给定大 量训练集时,该方法是劳动密集的,直到20世纪60年代计 算能力大大增强之后才流行起来。此后被广泛用于模式识 别领域。 20146-21  1.1.1KNN算法原理 令基于类比学习,即通过给定的检验元组与和它相似的训练 元组进行比较来学习 心训练元组用n个属性描述。每个元组代表n维空间的一个点。 这样,所有的训练元组都存放在冂维模式空间中 令当给定一个未知元组时,k最近邻分类法搜索该模式空间, 找出最接近未知元组的k个训练元组。这k个训练元组是未 知训练元组的k个“最近邻”。最后取这k个点中的多数类 作为检验元组的类别。 20146-21  令“邻近性”用距高度量,距离越大,表示两个点越不相似 令计算距离的方法:欧几里得距离、受哈顿距离或其它距离。 但多采用欧几里得距离(简单)。 例:两个点或元组X1=(x1x12,,x1)和X2=(x2x2,,x2) 的欧几里得距离是 d(x,X2)=12(x-x2 换言之,对于每个数值属性,取元组X1和Ⅹ2该属性对应值 的差,取差的平方并累计。并取累计距离计数的平方根。 20146-21  例1: 如果它走路像鸭子,叫声也像鸭子,那么他可能就是只鸭子 Compute Distance Test Record 己 Choose k of the cor st records 20146-21  例2: 下图中,绿色圆要被决定赋予哪个类,是红色三角形还是 蓝色四方形?如果K=3,由于红色三角形所占比例为2/3 绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色 四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。 20146-21  11.2KNN算法中的细节处理 属性的数值规范化 心有助于防止具有较大初始值城的属性(如收入)比具有较 小初始值域的属性(如二元属性)的权重过大。 例如,可以通过计算下式,使用最小一最大规范化将数值 属性A的值∨变换到[0,1]区间中的V y-min maximin 其中minA和maXA分别是属性A的最小值和最大值 20146-21  比较的属性不是数值类型而是分类类型(如颜色): 令对于分类属性,一种简单的方法是比较元组X1和X2中对应 属性的值。如釆二者相同(例如,元组Ⅹ1和Ⅹ2都是蓝色) 则二者之间的差为0。如果二者不同(例如,元组X是 色,而元组X2是红色),则二者之间的差为1。 令其他方法可采用更复杂的方案。(例如,对蓝色和白色赋 予比蓝色和黑色更大的差值。) 20146-21  0000000.0000000000000。带 缺失值的处理 心取最大的可能差 √对于分类属性,如果属性A的一个或两个对应值丢失,则取差值为 如果A是数值属性,若两个比较的元组属性A的值均缺失,则取差 值为1,若只有一个缺失,另一个存在并且已经规范化(记作v), 则取差值为|1v|和‖0v|中的最大者。 20146-21