数据挖掘分类算法实验报告.docxVIP

数据挖掘分类算法实验报告 　　数据挖掘实验报告　　——K-最临近分类算法　　学号：姓名：沈洁　　一、数据源说明　　1.数据理解　　选择第二包数据IrisDataSet，共有150组数据,考虑到训练数据集的随机性和多样性，选择rowNo模3不等于0的100组作为训练数据集，剩下的50组做测试数据集。　　。　　b)噪声数据：本文暂没考虑。　　二、K-最临近分类算法　　KNN(kNearestNeighbors)算法又叫k最临近方法，假设每一个类包含多个样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪一个分类，KNN就是计算每个样本数据到待分类数据的距离，如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本　　有关。因此，采用这种方法可以较好地避免样本的不平衡问题。另外，由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。该方法的不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。　　算法思路：　　K-最临近分类方法存放所有的训练样本，在接受待分类的新样本之前不需构造模型，并且直到新的样本需要分类时才建立分类。K-最临近分类基于类比学习，其训练样本由N维数值属性描述，每个样本代表N维空间的一个点。这样，所有训练样本都存放在N维模式空间中。给定一个未知样本，k-最临近分类法搜索模式空间，找出最接近未知样本的K个训练样本。这K个训练样本是未知样本的K个“近邻”。“临近性”又称为相异度，由欧几里德距离定义，其中两个点X和Y的欧几里德距离是：　　D(x,y)?(x1?y1)2?(x2?y2)2?...?(xn?yn)2　　未知样本被分配到K个最临近者中最公共的类。在最简单的情况下，也就是当K=1时，未知样本被指定到模式空间中与之最临近的训练样本的类。　　算法步骤：　　初始化距离为最大值　　计算未知样本和每个训练样本的距离dist　　得到目前K个最临近样本中的最大距离maxdist　　如果dist小于maxdist，则将该训练样本作为K-最近邻样本　　重复步骤2、3、4，直到未知样本和所有训练样本的距离都算完　　统计K-最近邻样本中每个类标号出现的次数　　选择出现频率最大的类标号作为未知样本的类标号　　三、算法源代码　　////////////////////////////////////////////////////////////////////////////////////////////////////////　　//　　//K-最近邻分类算法　　//　　////////////////////////////////////////////////////////////////////////////////////////////////////////　　#include　　#include　　#include　　#include　　#include　　#include　　#include　　////////////////////////////////////////////////////////////////////////////////////////////////////////　　//　　//宏定义　　//　　////////////////////////////////////////////////////////////////////////////////////////////////////////　　#defineATTR_NUM4//属性数目　　#defineMAX_SIZE_OF_TRAINING_SET1000//训练数据集的最大大小#defineMAX_SIZE_OF_TEST_SET100//测试数据集的最大大小#defineMAX_VALUE//属性最大值　　#defineK7　　//结构体　　structdataVector{　　};　　structdistanceStruct{　　};　　///////////