使用Weka进行数据挖掘.doc

1.简介 数据挖掘、机器学习这些字眼，在一些人看来，是门槛很高的东西。诚然，如果做算法实现甚至算法优化，确实需要很多背景知识。但事实是，绝大多数数据挖掘工程师，不需要去做算法层面的东西。他们的精力，集中在特征提取，算法选择和参数调优上。那么，一个可以方便地提供这些功能的工具，便是十分必要的了。而weka，便是数据挖掘工具中的佼佼者。 Weka的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），是一款免费的，非商业化的，基于JAVA环境下开源的机器学习以及数据挖掘软件。它和它的源代码可在其官方网站下载。有趣的是，该软件的缩写WEKA也是New Zealand独有的一种鸟名，而Weka的主要开发者同时恰好来自新西兰的the University of Waikato。（本段摘自百度百科）。 Weka提供的功能有数据处理，特征选择、分类、回归、聚类、关联规则、可视化等。本文将对Weka的使用做一个简单的介绍，并通过简单的示例，使大家了解使用weka的流程。本文将仅对图形界面的操作做介绍，不涉及命令行和代码层面的东西。 ? 2.安装 Weka的官方地址是http://www.cs.waikato.ac.nz/ml/weka/。点开左侧download栏，可以进入下载页面，里面有windows，mac os，linux等平台下的版本，我们以windows系统作为示例。目前稳定的版本是3.6。 如果本机没有安装java，可以选择带有jre的版本。下载后是一个exe的可执行文件，双击进行安装即可。 安装完毕，打开启动weka的快捷方式，如果可以看到下面的界面，那么恭喜，安装成功了。 图2.1 weka启动界面 窗口右侧共有4个应用，分别是 1）Explorer 用来进行数据实验、挖掘的环境，它提供了分类，聚类，关联规则，特征选择，数据可视化的功能。（An environment for exploring data with WEKA） 2）Experimentor 用来进行实验，对不同学习方案进行数据测试的环境。（An environment for performing experiments and conducting statistical tests between learning schemes.） 3）KnowledgeFlow 功能和Explorer差不多，不过提供的接口不同，用户可以使用拖拽的方式去建立实验方案。另外，它支持增量学习。（This environment supports essentially the same functions as the Explorer but with a drag-and-drop interface. One advantage is that it supports incremental learning.） 4）SimpleCLI 简单的命令行界面。（Provides a simple command-line interface that allows direct execution of WEKA commands for operating systems that do not provide their own command line interface.） 3.数据格式 Weka支持很多种文件格式，包括arff、xrff、csv，甚至有libsvm的格式。其中，arff是最常用的格式，我们在这里仅介绍这一种。 Arff全称是Attribute-Relation File Format，以下是一个arff格式的文件的例子。 % % ?Arff file example % @relation ‘labor-neg-data’ @attribute ‘duration’ real @attribute ‘wage-increase-first-year’ real @attribute ‘wage-increase-second-year’ real @attribute ‘wage-increase-third-year?real @attribute 慶ost-of-living-adjustment?{憂one?tcf?tc拀 @attribute 憌orking-hours?real @attribute 憄ension? {憂one?ret_allw?empl_contr拀 @attribute 抯tandby-pay?real @attribute 抯hift-differential?real @attribute 慹ducation-allowance