形式识别(KNN.KMEANS.FCM).docVIP

一、K近邻算法 1.算法思想 取未知样本的x的k个近邻,看这k个近邻中多数属于哪一类，就把x归于哪一类。具体说就是在N个已知的样本中,找出x的k个近邻。设这N个样本中，来自类的样本有个，来自的样本有个，...，来自类的样本有个，若分别是k个近邻中属于类的样本数，则我们可以定义判别函数为： 决策规则为： 若，则决策 2.程序代码 %KNN算法程序 function error=knn(X,Y,K) %error为分类错误率 data=X; [M,N]=size(X); Y0=Y; [m0,n0]=size(Y); t=[1 2 3];%3类向量 ch=randperm(M);%随机排列1—M error=0; for i=1:10 Y1=Y0; b=ch(1+(i-1)*M/10:i*M/10); X1=X(b,:); X(b,:)=[]; Y1(b,:)=[]; c=X; [m,n]=size(X1); %m=15,n=4 [m1,n]=size(c); %m1=135,n=4 for ii=1:m for j=1:m1 ss(j,:)=sum((X1(ii,:)-c(j,:)).^2); end [z1,z2]=sort(ss); %由小到大排序 hh=hist(Y1(z2(1:K)),t); [w,best]=max(hh); yy(i,ii)=t(best); %保存修改的分类结果 end error=error+sum(Y0(b,:)~=yy(i,:)); X=data; end error=error/M; %算法主程序： clc clear all load iris.mat %iris.mat中存放X为150*4的iris数据，Y为150*1的分类结果，以下均使用该数据 n=0; for i=1:10 error=knn(X,Y,1); n=n+error; end correct=1-n/10 3.程序运行结果 做十折交叉验证得到： 当K=1时，正确分类概率为：0.9587 当K=3时，正确分类概率为：0.9613 当K=5时，正确分类概率为：0.9640 当K=7时，正确分类概率为：0.9653 当K=10时，正确分类概率为：0.9667 当K=30时，正确分类概率为：0.9480 当K=60时，正确分类概率为：0.9027 4.结果分析 从以上的结果我们可以看出当k较小时，随着k的增加，其正确分类的概率也逐渐增加；然而当k增加到一定的值时，即k取较大的值时，随着k的增加，其正确率并没有随之增加，反而大大降低了。因此在实际中选择K的值时应慎重考虑，结合实际结果，选取合适的K值。 二、K均值算法 1.算法思想 K-means算法是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点，通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个聚类内紧凑，类间独立。在下面的算法中，在计算数据样本之间的距离时，采用的欧式距离。 其步骤如下： 为每一个聚类确定一个初始的聚类中心，这样就有K个聚类中心。 将样本集中的样本按照最小距离准则分配到最临近聚类 使用每个聚类中的样本均值作为新的聚类中心 重复步骤2,3直到聚类中心不再变化。 结束，得到K个聚类 2.程序代码 %K均值算法程序 function [class,num,center] = kmeans(x,k,start) [n,d] = size(x); class = zeros(1,n);% 设置class 为分类结果显示矩阵 num = zeros(1,k); %num保存每一类的个数 maxgn= 10000; iter = 1; while iter maxgn %计算每个数据到聚类中心的距离 for i = 1:n dist = sum((repmat(x(i,:),k,1)-start).^2,2); [m,ind] = min(dist); class(i) = ind; % 将当前聚类结果存入class 中 end for i = 1:k %找到每一类的所有数据，计算他们的平均值，作为下次计算的聚类中心 ind = find(class==i); start(i,:) = mean(x(i