Web文本挖掘的分析-信号与信息处理专业论文.docxVIP

IV IV 3.7.3 对分 k-平均法(Bisection k-means) 25 3.7.4 层次聚类法 25 3.8 聚类的评估 27 3.9 小结 28 第四章基于属性加权的 web 文本分类 29 4.1 引言 29 4.2 贝叶斯分类基本思想 29 4.3 贝叶斯定理 29 4.4 朴素贝叶斯文本分类模型 30 4.4.1 模型构建 30 4.4.2 参数估计 30 4.4.3 分类 31 4.4.4 加权朴素贝叶斯 Web 文本分类 31 4.5 基于加权朴素贝叶斯的分类算法 32 4.6 分类结果评估 33 4.7 实验测试与分析 33 4.8 小结 34 第五章 一种改进的支持向量机 Web 文本分类 35 5.1 引言 35 5.2 支持向量机简介 35 5.3 支持向量 35 5.4 支持向量机分类方法 37 5.5 改进的分类方法 37 5.6 实验及分析 39 5.7 小结 39 第六章总结和展望 41 6.1 全文总结 41 6.2 展望 41 参考文献 42 致谢 44 PAGE PAGE 10 第一章 绪论 1.1 数据挖掘 数据挖掘又被称为数据库知识发现，通常它是指从数据源中寻找有价值的模式或知识 的过程。挖掘出的知识必须是有潜在价值的、有用的、而且能被理解的特点，数据挖掘的 三个步骤如下： 预处理：所采集到的信息通常是不能直接对其进行挖掘,需要经过预处理。有如下的 几个原因：首先，所采集的数据含有噪音和异常情况的可能，我们需要对这些数据进行过 滤。其次，所采集的数据量很多，其中的很大一部分与挖掘的目标无关，影响挖掘过程， 我们需要对其进行选取以达到减小数据量的目的。 数据挖掘：用数据挖掘的相关算法对处理好的数据源进行挖掘，得到知识或模式。 后续处理：在很多应用里，数据挖掘所得到的模式并不一定都是有价值的，我们需要 对其进行分析与评估找出其中有用的部分。 Web 数据挖掘 Web 挖掘的过程 Web 挖掘的过程包括 Web 数据采集、Web 数据预处理、构建挖掘模型、评估、知识表 示等五个步骤： (1)Web 数据采集：Web 上的信息丰富多样，有多媒休信息、链接结构信息、Web 文本、 结构化的表格等，我们采集与目标有关的信息为挖掘提供信息源，降低了信息处理量。 (2)Web 数据预处理：对采样所得到的数据进行处理，将它们转变为便于挖掘的形式， 预处理对挖掘的效果有较大的影响。对数据进行清理，去掉与挖掘目标不相关的信息，然 后将这些信息进行集成，最后对集成的信息进行数据转换与缩减。 (3)构建挖掘模型：该 Web 挖掘模型用于从 Web 数据源中提取模式。它采用了序列模 式、分类及聚类等重要的技术来处理数据源，通过挖掘的目标来选取技术。 (4)评估:它先将挖掘出的模式转变成知识，然后通过分析得到有用的模式。 (5)知识表示：将挖掘出的有用知识用可视化的方式展示给用户。 Web 的特点 在过去 20 年中万维网发展迅速并已成为世界上规模最大的公共数据源，它具有许多 特点，这使得挖掘有用信息和知识的任务变得十分有趣、具有一定的挑战性。它所包含的 这些特征如下： ①Web 信息非常复杂 Web 现在已经发展成为了一个臣大的公共数据源，其中包含了大量的 Web 文档，然而 文档并不根据任何有关排列次序加以组织。它没有分类索引，更没有按标题、作者、封面 页、目录等的索引。Web 网页中包含着各种各样内容，结构也比较复杂且没有固定的结构， 因此对在这样一个公共数据源中搜索希望得到的信息是极具挑战性的。 ②Web 信息是分布式的 大量的图形、音频和视频信息会占用相当大的磁盘空间，我们甚至无法预知信息的多 少。对于 Web 没有必要把所有信息都放在一起，信息可以放在不同的站点上。只需要在浏 览器中指明这个站点就可以了，使在特理上并不一定在一个站点的信息在逻辑上一体化， 从用户的角度看这些信息是一体的。 ③Web 信息处于不断更新之中 网络上的信息量非常宠大，各 Web 站点都包含站点本身的信息，而且各站点中的信息 每天在更新与删除，总体情况呈现出大量上升的趋势。日常生活中，我们的招聘网、新闻 网、电子购物以及个人博客等站点上的信息均在不断更新中，网络管理员可经常对站上的 信息进行更新，Web 页面每天都以极快的速度增长。 ④Web 信息中无用信息较多 Web 信息资源比较丰富，供用户使用的并不多，其中只有一小部分是我们用户所需要 的，在网络中我们可以找到许多信息，但其中很多信息我们并不需要，而且这些信息掺杂 在我们所需信息当中可能会影响到我们获取有用信息。 ⑤Web 信息使用者复杂 我们互联网用户都在使用 Web 资源，网络用户每天都在增加。各个