35基于Web的新闻信息抽取系统设计与实现002.pdfVIP

沦义题U：坫t二Web的新n日价息抽取系统设计。j实现 第一章绪论 WorldWide Web(缩写为：WWW)作为…个全球化信息空I’llJ，蕴含管人量的 新闻信息和知识；但对于用户来说有用的新闻内容可能只是其中极小的一部分， 然而对于这一部分却难于获得。一般用户只能通过一些新闻门户网站或基于关键 字的搜索引擎方式来获得所需信息，但是搜索所得的庞大结果对于用户来说己经 到了无法使用的地步，从而导致WWW上新闻信息的闲置与浪费。为了解决对 Web新闻信息资源的需求问题各大搜索引擎均推出了专门针对新闻信息的搜索 服务。但是，仅仅依靠传统的浏览器和搜索引擎很难帮助人们找到符合自己所需 要的特定的新闻信息资源也很难扩展利用。基于Web的信息挖掘和信息抽取技 术的提出，有效地解决了准确获取Web页面中的新闻信息资源的难题。 1．1Web挖掘概述 1．1．1Web挖掘的定义 Web挖掘是-I1交叉性学科，涉及数据挖掘、机器学习、模式识别、人工智 能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。Web挖掘… 是指从大量非结构化、异构的Web信息资源中发现有效的、新颖的、潜在可用 是使用数据挖掘技术在Web文档内容、同志信息或其他描述数据中发现潜在的、 有用的知识的过程。 如果把大量的Web文档结构和使用的集合c作为输入，发现的隐含模式P 作为输出，那么Web数据挖掘的过程就是从输入到输出的一个映射【2】： ，：C—p 1．1．2W曲挖掘的分类 目前，根据数据源形式的不同，可以将Web数据挖掘分为三类：Web内容 Content Structure 挖掘(Web Mining)、Web结构挖掘WSM(W．ebMining)、Web 使用挖掘(Web UsageMining)13l。如下图1．1所示： 论文题I：1：肚J二Web的新n日竹息抽取系统垃计’j实J见 图1-1Web数据挖掳f{的分类图 WCM是对半结构化的Web页面，包括Web页面上的文本、图片、声音、 视频、元数据等进行挖掘，从Web数据中发现信息。由于Web文档绝大部分内 容是以文本形式存在，所以Web内容挖掘t要针对Web文档的文本部分。文本 挖掘主要包括直接对Web页面文档内容以及搜索引擎的查询结果进行文本的总 结、分类、聚类、关联分析等。除此之外，还有针对Web上图片、声音、视频 等多媒体数据的挖掘。WCM有两种策略：直接挖掘文档的内容和在其他工具搜 索的基础上进行改进。采用第一种策略的有针对Web的查询语言WebLOG，利 用启发式规则来寻找个人主页信息的AHOY等。采用第二种策略的方法主要是 对搜索引擎的查询结果进行进一步的处理， 得到更为精确和有用的信息。属于 该类的有WebSQL，及对搜索引擎的返回结果进行聚类的技术等。根据挖掘处 理的数据可以将Web内容挖掘分为文本挖掘和多媒体挖掘两个部分。 WSM是对W曲页面之间的结构进行挖掘，主要针对研Web页面的超链接 结构进行分析。根据超链接的拓扑结构，Web结构挖掘可以对页面进行分类，取 得不同网站网页之问的关系；也能发现Web文档自身的结构。这种方法能够通过 网页之问的比较，更有助于用户浏览。 WUM是通过挖掘相关的Web同志记录，束发现用户访问Web页面的模式 Access 和相关信息。WWW中的每个服务器都保留了访问同．志(WebLog)，记录 了关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为，从而改 进站点结构，为用户提供个性化服务。 2