Web文本挖掘的研究.pdfVIP

Web文奉挖掘研究 743 Web文本挖掘研究水 武洪萍周国祥’ I 合肥_I：业大学计算机与信息学院，合肥230009 摘要：www是一个巨大的、分布广泛的、全球性的信息服务中心，。它包含了丰富的信息资源。 Web挖掘可以快速有效地获取所需要的信息。Web文本挖掘是Web挖掘中的重要组成部分。本文重点 探讨了w曲文本挖掘中文本预处理，特征提取、文本分类及文本聚类等关键实现技术，最后讨论了 Web文本挖掘的价值及发展的重要性。 关键词：Web文本挖掘特征提取文本分类文本聚类 1引 言 Intemet上的信息是以网页形式存放的，而文本信息是网页内容的土要组成部分，冈此，Web文本挖掘 是Web内容挖掘的一种主要形式。Web文本挖掘是以计算语言学、统计数理分析为理论基础，结合机器 学习和信息检索技术，从Web文档和Web活动中发现、抽取感兴趣的潜在的有用模式和隐藏的信息的过 程【lJ。Web文本挖掘的对象是Web文档的文本内容，利通常意义上的平面文本挖掘的功能和方法相似，但 是有其自身的特点。目前Web文本挖掘的主要过程是对Web上火量文档集合的内容进行文本预处理、特 征提取、文本摘要、分类、聚类、关联分析等处理。图l给出了Web文本挖掘的一般处理过程【2—1。 2文本预处理 比，文本具有有限的结构，甚至根本没有结构。同时。Web页面是HTML语言来定义的，除标题、正文部 分外，还包含许多的HTML控制命令，冈此需要对这些文本数据进行标准化预处理。此外，文档的内容是 人类使用的白然语言，计算机很难处理其语义，所以还需要进行文本数据的信息预处理。信息预处理的主 图lWeb文本挖掘的一般流程 ‘基金项目l安徽省自然科学幕会(050420202)。 作者简介l武洪萍(1971．)，女，讲师，颂I：，研究方向为数据仓库‘j数据挖掘：刷图样，硕}：生导师，教授．研究方向为计 算町视化、数据挖掘和决策支持。 744 计算机技术‘j麻用进展·2007 要目的是抽取代表文本特征的元数据(特征项)，这些特征项可以川结构化的形式保存，作为文档的中间 表示形式。 2．1分词 对文档进行特征提取的前提就是对文本中的词汇进行切分。对英文而言，需要进行Stemming处型41， 即从英文单词的多种形式中提取出词干。汉语语言文字的处理则不同。冈为中文的基元是字而不是词，字 的信息草比较低，句子中各词语间没有I司定的分隔符(空格)，冈此对中文文本需要进行词条切分处理。 目前土要有基丁词库的分词算法和无词典的分词技术两种。 基丁．词库的分词算法目前使用较J．．，主要包括止向、逆向最人匹配法和逐词遍历法等。这类算法的特 点是设计简单，易丁．实现。但分词的正确性很大程度上取决于所建的词库。一个词库应具有完备性和完全 性两个方面，建立一个同时满足这两个要求的词库具有很人困难。因此该分词技术对于歧义和末登录词的 切分容易被疏漏，从而导致挖掘的内容不是很准确。文献【5】利用改进的最人匹配法米实现对文档的汉语自 动分词，同时加强消除歧义方面的处理，分词精度有所提高。 基丁．无词典的分词技术的基本思想是：基丁．词语频度的统计，不依靠词典，将文本中任意几个字同时 出现的频率进行统计，出现的次数越高，成为一个词的可能性越人。。 2．2文本的特征表示 基-f．白然语言处理和统计数据分析的文本挖掘中的文本特征表示指的是对从文本中抽取出的元数据进 行餐化，以结构化形式描述文档信息。特征表示的构造过程就是挖掘模型的构造过程。特征表示有多种， 常用的有布尔逻辑模型、向苗空间模型(VSM，VectorModel)．概率型(ProbablisticModel)和混 space 合型等。 目前应用较多且效果较好的方法是向鼙空间模型。其基本思想如．卜-：在VSM模型中，将文档D看作 看成一个n维坐标系中的坐标轴