惰性学习法和其他分类方法课件.pptVIP

惰性学习法和其他分类法 戴 奇 1 惰性学习法 急切学习法（前面提到的方法）：给定训练集, 在接收待分类的新元祖（如检验元组）之前，构造泛化（即分类）模型。 惰性学习法（也称为基于实例的学习法）：给定一个训练元组，简单地存储它 (或只是稍加处理) ，一直等到给定一个检验元组。仅当看到检验元组时，它才进行泛化，以便根据存储的训练元组的相似性对该元组进行分类。 优点：原理简单，实现起来比较方便。支持增量学习。能对超多边形的复杂决策空间建模。 缺点：计算开销大，需要有效的存储技术和并行硬件的支撑。 属于惰性学习的算法有：KNN分类、基于案例的推理分类 1.1 k最近邻分类法（KNN分类法） k最近邻分类法是20世纪50年代早期首次引进的。给定大量训练集时，该方法是劳动密集的，直到20世纪60年代计算能力大大增强之后才流行起来。此后被广泛用于模式识别领域。 1.1.1 KNN算法原理 基于类比学习，即通过给定的检验元组与和它相似的训练元组进行比较来学习。 训练元组用n个属性描述。每个元组代表n维空间的一个点。 这样，所有的训练元组都存放在n维模式空间中。 当给定一个未知元组时，k最近邻分类法搜索该模式空间，找出最接近未知元组的k个训练元组。这k个训练元组是未知训练元组的k个“最近邻”。最后取这k个点