多媒体数据挖掘课件学生讲knn 2.pptxVIP

2024/6/12周汉海导师：陈晓云教授兰州大学信息科学与工程学院NearestNeighborClassification

2024/6/12IDMLab2主要内容最近邻决策规则1K最近邻决策规则—k-NN2剪切最近邻方法3

急切学习法和惰性学习法2024/6/12IDMLab3急切学习法是在接收待分类的新元组(如检验元组)之前，利用训练集，构造泛化模型，即分类器。学习后的模型已经就绪，并急于对先前未见过的元组进行分类。常见的急切学习法主要有支持向量机，决策树归纳，贝叶斯分类，基于规则的分类等。惰性学习法是当给定一组训练元组时，简单地存储它，仅当给出检验元组时，才利用存储的训练元组的相似性对该元组进行分类，不像急切学习法，惰性学习法在提供训练元组时只做少量工作，而在进行分类或预测时才做更多的工作。常见的惰性学习法有K最近邻和基于案例的推理分类法。

急切学习法和惰性学习法图例2024/6/12IDMLab4训练集急切学习法分类或预测器分类方法类别或预测值检验元组惰性学习法训练集类别或预测值检验元组

急切学习法和惰性学习法的优缺点2024/6/12IDMLab5急切学习法训练分类器时需耗费大量时间，但对检验元组进行分类或预测时速度较快，且占用空间少；惰性学习法不需要建立模型，但是在对检验元组进行分类或预测时，需要将所有训练元组与检验元组进行运算，计算开销可能相当大，耗费大量时间。

1.1最近邻决策规则2024/6/12IDMLab6设最近邻分类规则:对待识别数据,分别计算它与个已知类别的样本的距离,将它判为距离最近的那个样本所属的类。如果则即

1.2最近邻决策规则图例2024/6/12IDMLab7(6)判x?y2(1)已知N个训练样本X(3)计算x到xi?X，(i=1,2,…,N)的距离di(x)(4)找出最小距离dm(x)=min{di(x)}(5)看xm属于哪一类：xm?y2(2)输入未知类别样本x

1.3最近邻决策规则优缺点2024/6/12IDMLab8最近邻决策规则计算速度稍快，但是准确率可能不高，可能会出现以下情况：

2.1K最近邻决策规则—k-NN2024/6/12IDMLab9k-NN分类思想:对待识别数据,分别计算它与个已知类别的样本的距离,取k个最近邻样本,这k个样本中哪一类最多,就判属哪一类。即,令与的距离如果则其中表示个近邻元中属于的样本个数

2.2K最近邻决策规则图例2024/6/12IDMLab10(1)已知N个训练样本X(2)输入未知类别样本x(6)判x?y1(4)找出x的k个最近邻元Xk={xi,i=1,2,…,k}(5)看Xk中属于哪一类的样本最多k1=4k2=3(3)计算x到xi∈X,(i=1,2,…,N)的距离di(x)

2.3K最近邻规则优缺点2024/6/12IDMLab11KNN算法实现简单，易于理解，无需估计参数，无需训练；但是对测试样本分类时计算量大，内侧开销大；常见的问题：k值的设定，k太小，分类结果易受噪声点影响，k值太大，近邻中又可能包含太多的其它类别的点

3.1剪切最近邻方法2024/6/12IDMLab12对于两类问题，设将已知类别的样本集X(N)分成参照集X(NR)和测试集X(NT)两部分，X(NR)?X(NT)=?，它们的样本数各为NR和NT，NR+NT=N。利用参照集X(NR)中的样本采用最近邻规则对已知类别的测试集X(NT)中的每个样本进行分类，剪辑掉X(NT)中被错误分类的样本。异类的，余下的判决正确的样本组成剪辑样本集X(NTE)。这一操作称为剪辑。若是的最近邻元，剪辑掉与

3.2剪切最近邻方法图例2024/6/12IDMLab13?y1

?y2

?X(NR)

?X(NT)用X(NR)中的样本采用最近邻规则对X(NT)中的每个样本分类，剪辑掉X(NT)中被错误分类的样本。余下判决正确的样本组成剪辑样本集X(NTE)。用X(NTE)对输入的未知样本做K-NN分类。

2024/6/12