4.分类算法及kNN案例.pptVIP

k-最近邻算法 计算每个训练实例到待分类实例之间的距离 找出和待分类实例距离最近的k个训练实例 找到的k个训练实例中哪个类别占的最多，待分类实例就属于哪个类别 k-最近邻算法 A(1,1) B(2,1) D(2,0) C(3,1) E(5,2) F(4,3) G(5,3) H(6,3) M(2,2) d(M, A) d(M, B) d(M, C) d(M, D) d(M, E) d(M, F) d(M, G) d(M, H) 取k=5，使用欧氏距离 M的k个近邻中， 蓝色有4个，黄色有1个， 因此M的分类结果为蓝色 从k个最近邻居中决定分类结果 方式1: 选出k个最近的邻居中的数量最多的类标号 方式2: k个最近邻居分别按距离计算权重，权重最大的类标号获胜。 权重可以采用 1 / (d2 + 1) 来计算，其中d为某个最近邻居到待分类实例的距离。 可采用其它权重计算方式，只要满足 到待分类实例的距离越近权重值越大， 到待分类实例的距离越远权重值越小即可 k-最近邻算法 A(1,1) B(2,1) D(2,0) C(3,1) E(5,2) F(4,3) G(5,3) H(6,3) M(2,2) d(M, A) d(M, B) d(M, C) d(M, D) d(M, E) d(M, F) d(M, G) d(M, H) 取k=5，使用欧氏距离 weight(蓝) = 1/