(六)K近邻.pptxVIP

数据挖掘方法六K-Nearest NeighborK最近邻分类;原 理;计算步骤如下： 1）算距离：给定测试对象，计算它与训练集中的每个对象的距离 2）找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻 3）做分类：根据这k个近邻归属的主要类别，来对测试对象分类 距离衡量常用的是欧式距离 （Euclidean distance）：二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离为 d = sqrt((x1-x2)^2+(y1-y2)^2);KNN的算法过程是是这样的： 从右图中我们可以看到，图中的数据集是良好的数据，即都打好了label，一类是蓝色的正方形，一类是红色的三角形，那个绿色的圆形是我们待分类的数据。 如果K=3，那么离绿色点最近的有2个红色三角形和1个蓝色的正方形，这3个点投票，于是绿色的这个待分类点属于红色的三角形。 如果K=5，那么离绿色点最近的有2个红色三角形和3个蓝色的正方形，这5个点投票，于是绿色的这个待分类点属于蓝色的正方形。;举例一;举例二：iris鸢尾花 150朵花的属性 4个定量变量： Sepal.Length萼长 Sepal.Width萼宽 Petal.Length花瓣长 Petal.Width花瓣宽 1个定性变量：Species花的种类,[山鸢尾 (setosa) 蓝旗鸢尾 (versicolor) 维珍尼亚鸢尾(virginica)] 本例中用4个定量变量把150朵花分为3类，定性变量为分类。 ;set.seed(123) training=sample(1:150,145) test=(1:150)[-training] test Sepal.Length Sepal.Width Petal.Length Petal.Width Species 88 6.3 2.3 4.4 1.3 versicolor 103 7.1 3.0 5.9 2.1 virginica 104 6.3 2.9 5.6 1.8 virginica 106 7.6 3.0 6.6 2.1 virginica 123 7.7 2.8 6.7 2.0 virginica library(class) aa=knn(train[,1:4],test[,1:4],cl=train[,5],k=5) aa [1] versicolor virginica virginica virginica virginica Levels: setosa versicolor virginica bb=knn(train[,1:4],test[,1:4],cl=train[,5],k=3) bb [1] versicolor virginica virginica virginica virginica ;优点 1. 简单，易于理解，易于实现，无需估计参数，无需训练； 2. 特别适合于多分类问题（对象具有多个类别标签）。 缺点 1. 主要的不足：当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。 该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。 2. 计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。 3. 可理解性差，无法给出像决策树那样的规则。;KNN;谢谢！