数据仓库与数据挖掘实验讲义教程解读.doc

信息 学院 本科教学实验讲义 （实验）课程名称：数据仓库与数据挖掘 贵州财经学院教务处制 2008 年9 月 实验项目一 数据挖掘软件Weka的使用 一、实验内容、目标及要求 （一）实验内容 1．熟悉挖掘软件Weka的集成环境； 2．进入挖掘软件Weka的工作环境； 3．数据格式的转换、数据准备； 4．根据事例数据进行关联规则挖掘（购物篮分析）、分类和回归、聚类分析。 （二）实验目标 1．熟悉Weka的上机过程，在Weka环境下学习如何实现数据预处理、分类、关联、聚类等，实现简单的数据挖掘事例； 2．通过实现简单的数据挖掘，初步了解Weka的使用特点 3．掌握数据预处理的方法、数据格式的转换方法； 4、熟悉该软件中各参数的意义及设置方法； 5．基本掌握关联分析、聚类分析、关联规则的方法。 （三）实验要求 1．预习数据挖掘软件Weka环境的基本操作过程。 2．完成实验内容的各个环境，并认真撰写实验报告。 3．初步掌握数据挖掘软件Weka实现简单的数据挖掘并进行分析。 二、实验准备 （一）运行环境说明 WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），它的源代码可通过http://www.cs.waikato.ac.nz/ml/weka得到。同时weka也是新西兰的一种鸟名，而WEKA的主要开发者来自新西兰。 WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件，这是一种ASCII文本文件。图1所示的二维表格存储在如下的ARFF文件中。这也就是WEKA自带的“weather.arff”文件，在WEKA安装目录的“data”子目录下可以找到。在Windows记事本打开这个文件时，可能会因为回车符定义不一致而导致分行不正常。推荐使用UltraEdit这样的字符编辑软件察看ARFF文件的内容。识别ARFF文件的重要依据是分行，因此不能在这种文件里随意的断行。空行（或全是空格的行）将被忽略。以“%”开始的行是注释，WEKA将忽略这些行。除去注释后，整个ARFF文件可以分为两个部分。第一部分给出了头信息（Head information），包括了对关系的声明和对属性的声明。第二部分给出了数据信息（Data information），即数据集中给出的数据。从“@data”标记开始，后面的就是数据信息了。 （一）系统界面及说明 工作界面如下： 本图显示的是使用3.5版"Exploer"打开"bank-data.csv"的情况。我们根据不同的功能把这个界面分成8个区域。区域1的几个选项卡是用来切换不同的挖掘任务面板。区域2是一些常用按钮。包括打开数据，保存及编辑功能。在这里把"bank-data.csv"另存为"bank-data.arff"。 区域3中“Choose”某个“Filter”，可以实现筛选数据或者对数据进行某种变换。数据预处理主要就利用它来实现。 区域4展示了数据集的一些基本情况。 区域5中列出了数据集的所有属性。勾选一些属性并“Remove”就可以删除它们，删除后还可以利用区域2的“Undo”按钮找回。区域5上方的一排按钮是用来实现快速勾选的。 在区域5中选中某个属性，则区域6中有关于这个属性的摘要。注意对于数值属性和分类属性，摘要的方式是不一样的。图中显示的是对数值属性“income”的摘要。 区域7是区域5中选中属性的直方图。若数据集的最后一个属性（我们说过这是分类或回归任务的默认目标变量）是分类变量（这里的“pep”正好是），直方图中的每个长方形就会按照该变量的比例分成不同颜色的段。要想换个分段的依据，在区域7上方的下拉框中选个不同的分类属性就可以了。下拉框里选上“No Class”或者一个数值属性会变成黑白的直方图。 区域8是状态栏，可以查看Log以判断是否有错。右边的weka鸟在动的话说明WEKA正在执行挖掘任务。Excel的XLS文件可以让多个二维表格放到不同的工作表（Sheet）中，只能把每个工作表存成不同的CSV文件。打开一个XLS文件并切换到需要转换的工作表，另存为CSV类型，点“确定”、“是”忽略提示即可完成操作。将CSV转换为ARFF最迅捷的办法是使用WEKA所带的命令行工具。在WEKA 3.5中提供了一个“Arff Viewer”模块，我们可以用它打开一个CSV文件将进行浏览，然后另存为ARFF文件。 进入“Exploer”模块，从上方的按钮中打开CSV文件然后另存为ARFF文件亦可。使用C4.5决策