文本挖掘及其应用.pdf

应用技术 文 本 挖 掘 及 其 应 用 ! 蒋良孝 ， 蔡之华 （中国地质大学计算机科学与技术系，武汉 #$$% ） 摘 要：文本挖掘是指利用数据挖掘技术，从大量的文本数据中提取感兴趣的、潜在的有用模式和隐藏的信息。 本文详细阐述了文本挖掘的功能、文本挖掘的过程、文本挖掘的应用，并在文章最后介绍了文本挖掘 的工具及演示实例。 关键词：文本挖掘；数据挖掘；文档 引 言 2 文本挖掘的功能 随着网络和连机出版的发展，文本数据出现爆 在当今世界，一个人或一个组织所获得的文本 炸性增长，能获得的文本信息的集合是如此巨大， 信息集合十分巨大，而且文本信息集合还在不断地 以至于不能进行简单的阅读和分析；并且在当今海 更新和增加。这样，信息检索等技术就不能适应当 量的文本数据中，只有很少的一部分与某个用户相 今文本信息处理的需要，所以，必须用文本挖掘技 关，而不清楚文档的内容，又很难形成有效的查询。 术来解决这一难题。文本挖掘可以对大量文档集 可见，传统的信息检索技术已经不能适应日益增加 合的内容进行总结、分类、聚类、关联分析、分布分 的大量的文本数据处理的需要。从原则上讲，可以 析以及趋势预测等。 在任何类型的信息存储上进行数据挖掘，从而提取 （）文本总结 2 知识。然而，大部分数据挖掘工具是在集成的、一 文本总结是指从文档中抽取关键信息，用简洁 致的和清理过的、也就是 “二手”的数据上进行。如 的形式对文档内容进行摘要或解释。这样，用户不 关系数据库的数据挖掘主要与存储在经过净化和 需要浏览全文就可以了解文档或文档集合的总体 一定预处理的关系数据库中进行，并且实质上与结 内容。文本总结在有些场合十分有用，例如，搜索 构化的数据协同工作。在现实世界中，知识不仅以 引擎在向用户返回查询结果时，通常需要给出文档 传统数据库中的结构化数据的形式出现，而且以诸 的摘要。目前，绝大部分搜索引擎采用的方法是简 如书籍、研究论文、新闻文章、 页面及电子邮 单地截取文档的前几行。 /01 件等各种各样的形式出现。由于在这些非结构化 （）文本分类 现 + 的数据源中也存在着大量的知识，因此也应该在这 文本分类是指按照预先定义的主题类别，为文 代 计 些数据源上进行数据挖掘，提取感兴趣的、潜在的 档集合中的每个文档确定一个类别。这样，用户不 算 有用模式和隐藏的信息，这就是文本挖掘。文本挖 但能够方便地浏览文档，而且可以通过限制搜索范 机 掘可以完成不同文档的比较，以及文档重要性和相