半格式化网页信提取与应用.pdfVIP

摘要 摘要 随着互联网的迅速发展，快速准确获取信息成为制约各行业发展的瓶颈。 互联网作为全球最大的信息资源宝库，受到了越来越来多地重视，通用搜索引 擎应运而生。然而，通用搜索由于“信息过载’’问题，会给用户带来大量无用 信息，垂直搜索成为新的研究热点。 与通用搜索不同，垂直搜索引擎仅仅专注于某一领域。其对于网页信息的初 步提取，一方面使搜索精度提高；另一方面使浏览者不用逐页阅读网页，提高 了效率。本论文的主要内容是关于垂直搜索构建的相关技术，并重点探讨了英 文网页关键词提取与产品网页的信息提取问题。 本论文开展的主要工作及创新如下： 1．提出一种基于词性颗粒度的英文网页关键词提取算法。该算法首先将文本 进行3．gram分词处理，同时去掉停用词：然后把中心词与修饰词等不同词性颗 粒给与不同权值打分，最后通过软闽值输出技术输出关键词，实现了一个比较 通用的关键词抽取系统。 2．提出一种新的商品网页信息分块算法。该算法基于本文提出的一套商品网 页规则化度量标准。论文依据商品网页的可统计性，给出了网页规则化度量标 准的数学表达式。本文算法首先将网页表示成DOM树，然后将每一个叶节点表 示成X删路径结构，同时根据得到的XPATH计算网页规则度的统计量，通 过对路径XPATH的聚类与得到的网页信息块统计量，结合启发式规则，实现分 割产品信息块。 3．实现了一种网页块分割与包装器(Wr印per)结合抽取产品信息的算法。该 方法首先利用网页信息块分割算法，分割出产品信息块；然后采用基于DOM的 实例路径覆盖算法，学习抽取模版，抽取产品信息。 关键词： 网页信息提取网络蜘蛛网页关键词提取分词信息抽取查询系统 Abs仃act ABSTRACT Withthe oftheIntemetfasta11daccurateaccesstoinfomlation rapiddevelopment becomesthebonleneckofthe of growingindustry．Inte：met嬲the、^，orld’slargeSt 仃easureofinfomationresourceanracts more mo佗跚d a牡ention．Thus，general search ofmeinfo咖ationoverJoaded engineappears．However，because problem，it will uselessinfo眦ationt0 bring userS，verticalSearchhasbecomeanewhotspot． di丘．erent search focusoncertain Being fo椭generalsearch，verticaIenginesonly extractionofweb theone can a他as．Throu曲initial inf．0rmatioIl’onhand，itimprove the of theomerhandbrowserSdonothaVetoread accuracysearch；on pagebypage， maincontentOfthisthesisis of improVingreamnge仃iciency．The technologies constructionthe on verticaIsearch．Inmis