CF+WebAess机器学习理论在Web数据开采中的应用研究.pdfVIP

CFWebAccess:机器学习理论 在Web数据开采中的应用研究 蒋晓冬 金宇晖 (南京大学计算机科学与技术系，南京，210093) 摘 要 WorldWideWe城WWW)存在着大量的非结构化信息，且信息量与日俱增。如何使用户在 信息海洋定位自己感兴趣的信息，己经成为电子出版、数字图书馆、Intemet代理等许多Web)}ti用研究 中所必须解决的问题。本文创造性地将机器学习的原理和方法应用到 Web数据开采中来.采用了一整 套智能化的川、几文档分析与评价机制，提出了代理服务器的工作规范CFWebAcess。该规范 为代理服务器提供了两种并存在工作模式 粗粒度工作模式 C和细粒度工作模式 F。我们洋细讨论了 这种工作模式的实现机器及涉及的机器学习原理 与方法，同时也给出了木规范在江苏省 ‘九五 11重点 攻关课题 “网上电子出版与数字图书馆”中的应用实例。 关键词 CFWebAccess机器学习算法 自动分类 引 言 Internet上的WWW文档系统是目前规模最大、应用最成功的分布式超文本文档系 统，并且每天又有许多新的信息出现。WWW 的文档组织机制本身只支持浏览访问 不 支持检索访问。由于WWW文档具有分布范围广、容量巨大、信息类型广泛等特点， 当用户在 WWW 上查找有关某个主题的内容时，通过浏览访问在庞大的网上漫无边际 地寻找目标存在着速度慢、效率低、费用高等问题。因此如何使用户在信息海洋中定位 自己感兴趣的信息，已经成为电子出版、数字图书馆、Internet代理等许多Web应用研 究所急待解决的关键问题。 WWW上已经存在多个著名的英文检索工具，如Yahoo,LYCOS，能自动地定期 在网上收集WWW 网页信息，维护英文全文检索索引。国内也推出一些WWW 的中文 检索系统，如北京大学开发的 “天网WWW全文检索系统”。利用这些搜索引擎的优 势在于它们对 Web上的相当一部分内容建立了索引，因而在用户输入检索关键词后便 能迅速返回相应的 URL。然而，它们的最大缺陷是这种检索过程是非智能化的，所以 检索结果也是极不精确的，往往用户自己从检索返同的成百上千的URL中过滤找到日 己真正感兴趣的链接，而后再以浏览方式通过这些链接寻找有价值的信息。使用搜索引 擎，用户仍然需要完成巨大的工作量，实际上，这一点是无法做到的。 本文试图将机器学习的原理与技术引入 Web信息管理之中，让具有智能特点的软 件Agent辅助用户进行信息的获取。我们提出了称为 “CFWebAccess”的代理信息服 务器规范。符合这一规范的代理服务器应同时支持两种工作模式:C模式((Coarse- grained，粗粒度模式)和((Fine-grained,细粒度模式)。在C工作模式F 一个软树 Agent(如JavaApplet)被从代理信息服务器下载至客户机。用户可首先对部分页面按一定 标准分级评价ra〔te)，该Agent通过分析页面信息创建用户模板(userprofile)，并向用户 ·547. 推荐他们可能感兴趣的链接。当服务器工作在F模式下时，服务器程序负责自动地从有 关某一主题的热门站点(如依据Yahoo的评定)收集信息，并依据既定的标准按内容分类 组织它们，当相关服务器内容变化时同步更新，并自动通知或自动推送给用户。 Z 粗粒度模式的工作机制 2.t粗粒度模式的工作机制 工作在 C模式下的代理信息服务器为每个 “用户主题”(即访问某个主题的某个用 户)创建一个用户模板(userprofile)，之所以选择 “用户主题”而非 “用户”是因为大 多数用户都存在着感兴趣的不同主题，而促使他们对不同主题感兴趣的因素一般是不同 的，为每个用户的侮个主题都创建模板能更精确地反映用户的偏好。当然，用户的创 建、认证，模板库的创建、维护都是代理信息服务器要完成的工作。通过Yahoo等搜索 引擎，我们可以收集到针对某一主题的不同链接，将这些链接作为索引保存在本地服务 器上。开始用户正是通过这些索引访问Web，同时，用户每访问一个链接就根据自己