数据挖掘聚类算法设计总汇.doc

数据挖掘聚类问题(Plants Data Set)实验报告 数据源描述 1.1数据特征 本实验用到的是关于植物信息的数据集，其中包含了每一种植物(种类和科属)以及它们生长的地区。数据集中总共有68个地区，主要分布在美国和加拿大。一条数据(对应于文件中的一行)包含一种植物(或者某一科属)及其在上述68个地区中的分布情况。可以这样理解，该数据集中每一条数据包含两部分内容，如下图所示。 图1 数据格式 例如一条数据:abronia fragrans,az,co,ks,mt,ne,nm,nd,ok,sd,tx,ut,wa,wy。其中abronia fragrans是植物名称(abronia是科属，fragrans是名称)，从az一直到wy是该植物的分布区域，采用缩写形式表示，如az代表的是美国Arizona州。植物名称和分布地区用逗号隔开，各地区之间也用逗号隔开。 1.2任务要求 聚类。采用聚类算法根据某种特征对所给数据集进行聚类分析，对于聚类形成的簇要使得簇内数据对象之间的差异尽可能小，簇之间的差距尽可能大。 数据预处理 2.1数据清理 所给数据集中包含一些对聚类过程无用的冗余数据。数据集中全部数据的组织结构是：先给出某一科属的植物及其所有分布地区，然后给出该科属下的具体植物及其分布地区。例如： (abelmoschus,ct,dc,fl,hi,il,ky,la,md,mi,ms,nc,sc,va,pr,vi (abelmoschus esculentus,ct,dc,fl,il,ky,la,md,mi,ms,nc,sc,va,pr,vi (abelmoschus moschatus,hi,pr 上述数据中第(行给出了所有属于abelmoschus这一科属的植物的分布地区，接下来的((两行分别列出了属于abelmoschus科属的两种具体植物及其分布地区。从中可以看出后两行给出的所有地区的并集正是第一行给出的地区集合。在聚类过程中第(行数据是无用的，因此要对其进行清理。 2.2数据变换 本实验是依据植物的分布区域进行聚类，所给数据集中的分布区域是字符串形式，不适合进行聚类，因此将其变换成适合聚类的数值形式。具体思想如下： 数据集中总共包含68个区域，每一种植物的分布区域是这68个区域中的一部分。本实验中将68个区域看成是数据对象的68个属性，这68个属性是二元类型的变量，其值只能去0或者1。步骤如下： 把68个区域按一定顺序存放在字符串数组(记为str)中(顺序可以自己定，确定后不能改变)。 为数据集中的每个数据对象设置一个长度为68字符串数组，初始元素值全为0。将数据对象的分布区域逐个与str中的所有元素比较。如果存在于str中下标i的位置，就将该数据对象的字符串数组的第i位置为1。 例如，一个数据对象为：abies fraseri,ga,nc,tn,va。其分布区域包含ga,nc,tn和va四个地区，将这四个地区逐个与str中全部68个元素比较。假设这四个地区分别存在于str中的第0,1,2,3位置，则将为该数据对象设置的字符串数组中第0,1,2,3位置全部置为1。 ★数据预处理代码(包括数据清理和数据变换)： public ArrayListString getRaw_DataSet() { ArrayListString raw_dataSet = new ArrayListString();// 定义集合存储从本地获取的数据 BufferedReader bufferedReader = null; FileReader fileReader = null; File dataFile = new File(this.fileName); if (dataFile.exists()) {// 如果数据文件存在 try { fileReader = new FileReader(this.fileName); bufferedReader = new BufferedReader(fileReader); String data = null; while ((data = bufferedReader.readLine()) != null) { if (isRightData(data)) raw_dataSet.add(data); } } catch (Exception e) { e.printStackTrace(); } } else this.isFileExit = false; return raw_da