数据挖掘文本分类实验报告.pdfVIP

. 北京邮电大学 **** 学年第 1 学期实验报告 课程名称： 数据仓库与数据挖掘 实验名称： 文本的分类 实验完成人： 姓名： *** 学号： **** 姓名： ** 学号： ** Word 资料 . 日 期： Word 资料 . 实验一：文本的分类 1. 实验目的 掌握数据预处理的方法，对训练集数据进行预处理； 掌握文本分类建模的方法，对语料库的文档进行建模； 掌握分类算法的原理，基于有监督的机器学习方法，训 练文本分类器； 了解 SVM 机器学习方法， 可以运用开源工具完成文本分 类过程。 2. 实验分工 ***: (1) 对经过分词的文本进行特征提取并用 lisvm 进行训练 (2) 用训练的模型对测试数据进行预测 *** ： (1) 数据采集和预处理 (2) 分词 3. 实验环境 Ubuntu 13.04+jdk1.7 Word 资料 . 4. 主要设计思想 4.1 实验工具介绍 1．NLPIR_ICTCLAS2013 NLPIR (又名 ICTCLAS2013)，是由中科院张华平博士倾力打造 的汉语分词系统。其主要功能包括中文分词、词性标注、命名实 体识别、用户词典功能、支持 GBK编码、 UTF8编码、 BIG5 编码 等。 从 NLPIR 官网可以下载其最新版的 Java 发布包，然后导入 Eclipse，配置运行环境，实现对于语料库的分词。 最新的 NLPIR可以通过更改源代码实现新增新词识别、 关键 词提取、微博分词等功能，极大地方便了使用。 2. Eclipse for Java Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本 身而言，它只是一个框架和一组服务， 用于通过插件组件构建开发环 境。幸运的是， Eclipse 附带了一个标准的插件集，包括 Java 开发工 具（Java Development Kit ，JDK）。 3. LibSVM 本次实验中我们采用的是台湾大学林智仁博士等开发设计 的 LIBSVM方法。这是一个操作简单、易于使用、快速有效的通 用 SVM 软件包，可以解决分类问题 (包括 C- SVC 、ν- SVC )， 回 归问题 (包括 ε- SVR 、v- SVR ) 以及分布估计 (one - class