数据挖掘WEKA实验报告.docxVIP

数据挖掘-WAKA 实验报告 一、WEKA软件简介 在我所从事的证券行业中，存在着海量的信息和数据，但是这些数据 日常知识发挥了一小部分的作用，其包含了大量的隐性的信息并不为所用， 但是却可以为一些公司的决策和对客户的服务提供不小的价值。因此 ，我们 可以通过一些数据采集、数据挖掘来获得潜在的有价值的信息。 数据挖掘就是通过分析存在于数据库里的数据来解决问题。在数据挖掘中计 算机以电子化的形式存储数据，并且能自动的查询数据，通过关联规则、分类于 回归、聚类分析等算法对数据进行一系列的处理，寻找和描述数据里的结构模式， 进而挖掘出潜在的有用的信息。数据挖掘就是通过分析存在于数据库里的数据来 解决问题。WEKA的出现让我们把数据挖掘无需编程即可轻松搞定。 WEKA是由新西兰怀卡托大学开发的开源项目，全名是怀卡托智能分析 环境(Waikato Environment for Knowledge Analysis )。WEKA 是由 JAVA 编写的，它的源代码可通过 http://www.cs.waikato.ac.nz/ml/WEKA 得到， 并且限制在GBU通用公众证书的条件下发布，可以运行在所有的操作系统 中。是一款免费的，非商业化的机器学习以及数据挖掘软件 WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘 任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联 规则以及在新的交互式界面上的可视化。如果想自己实现数据挖掘算法的 话，可以看一看WEKA的接口文档。在WEKA中集成自己的算法甚至借鉴它 的方法自己实现可视化工具并不是件很困难的事情。 安装WEKA也十分简单，首相要下载安装JDK环境，JDK在这个页面可 以找到它的下载 /javase/downloads/index.jsp。点击 JDK 6之后的Download按钮，转到下载页面。选择Accepct，过一会儿页面 会刷新。我们需要的是这个 Windows Offline Installation, Multi-language jdk-6-windows-i586.exe 53.16 MB，点击它下载。也可以右键点击它上面 的链接，在Flashget等工具中下载。安装它和一般软件没什么区别。不过中间 会中断一下提示你安装JRE，一并装上即可。之后就是安装WEKA软件，这个 在网上很多地方都有。同样简单地按默认方法安装后即可使用。 点击启动运行WEKA软件后，我门发现WEKA存储数据的格式是ARFF (Attribute-Relation File Format )文件，这是一种 ASCII 文本文件。 我们如图1通过软件的Tools菜单进入ArffViewer可以在安装目录下查看 软件自带的几个ARFF文件。 如图2,打开文件后选择data自目录下的任意一张表，我们都可以看到如图3 所示的二维表格存储在如下的ARFF文件中。这也就是WEKA自带的 Qrl + SCtrltNEjcprnmtmwthMewerBayes net editorKci tladrtF 1 :■ Qrl + S CtrltN Ejcprnmtmw th Mewer Bayes net editor Kci tladrtF 1 :■ 图1 % cortact-l 专cpu 专 cpu.with.ven dor 中 iris 专 labcr segment-challenge 专 5Bqment-test * soybean weafzher ■weather.nominal I_ Invoice ajjti “contact-lenses.arff ”文件。这里我们要介绍一下WEKA中的术语。表格 里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数 据库中的一条记录。竖行称作一个属性（Attrbute），相当于统计学中的一个变 量，或者数据库中的一个字段。这样一个表格，或者叫数据集，在WEKA看来， 呈现了属性之间的一种关系（Relation）。图1中一共有22个实例，5个属性， 关系名称为 “contact-lenses ”。 除了 ARFF格式，WEKA还支持另外一种常见格式，CSV格式。CSV同样是 一种二进制保存的文本格式，我们可以在WEKA中直接打开CSV格式的文件， 并保存为ARFF格式。这样就给我提供了把常见的数据格式转换为ARFF格式的 方法，如对于Excel文件，我们 可以通过把每张表保存为CSV格式，进而保存 为ARFF格式，与此同时，我们可以利用filter对数据进行相应的预处理。而对 于Matlab格式的数据，我们可以通过命令csvwrite把数据转化成CSV格式的文 件，进而转化为ARFF格式文件。对于海