垂直搜索引擎的关键技术研究.pdfVIP

学术研讨 垂直搜索引擎的关键技术研究 余 淼,杨 丹,赵俊芹 重庆大学 软件学院 重庆 ( , 400045) 摘 要:垂直搜索引擎是 目前 Web搜索领域最受关注的研究热点。从概念和技术两个方面介绍了垂直搜 索引擎的工作流程和关键技术,并将其分为网页抓取、信息抽取及建立倒排索引、信息检索等 个模块进行了 3 研究。 关键词:垂直搜索;信息抽取 ;倒排索引 中图分类号: 文献标识码: 文章编号: TP311 A 1672-7800-(2007)12-0031-03 索引擎,就可以到摩托车 1垂直搜索引擎介绍 门户网站进行抓取。这一 1.1 垂直搜索 模块还包含对网页进行预 垂直搜索是针对某一特定领域、某一 处理,去除掉一些不符合 特定人群或某一特定需求提供的有一定 主题规范的网页,然后进 价值的信息和相关服务,其特点就是专、 行网页净化,使之符合抽 精、深,且具有行业色彩,它是与通用搜 取的规范。 索引擎截然不同的引擎类型。垂直搜索 第二步是信息抽取和 引擎专注具体、深入的纵向服务,致力于 索引模块,该模块的主要 某一特定领域内信息的全面和 内容的深 目的是生成倒排索引,并 入,对于领域外的闲杂信息不收录。 且存储到数据库中,便于 搜索领域有句名言:用户无法描述他 查询模块中查全率和查准 要找什么,除非让他看到想找的东西。微 率的提高。该模块承前启 软研究院一名技术专家说 :“75%的内容 后,是垂直搜索引擎中最 图 1 垂直搜索引擎的流程 通用搜索引擎搜索不出来”。而垂直搜索 重要的一环。其中最为关 引擎的诞生则是为了更大程度地提高搜 键的步骤就是对第一步得到的大量网页 2.1 网络蜘蛛概念 网络蜘蛛即 ,是一个很形 索的“查全率”和“查准率”。垂直搜索引 进行信息抽取,从大量结构化和非结构 WebSpider 擎通过对行业领域 内的信息模型和用户 化的数据中提取信息。然后对提取的信 象的名字。把互联网比喻成一个蜘蛛网, 模型结构化的搜集或再组织,提供更多、 息进行中文分词,建立倒排索引,生成索 那么 Spider就是在网上爬来爬去的蜘蛛。 更专业、个性化的行业相关服务。 引文件,存储到数据库中。 网络蜘蛛是通过网页的链接地址来寻找 1.2 垂直搜索引擎的工作流程和主要技 第三步就是设计查询页面和查询的 网页的,从网站某一个页面 (通常是首 术 算法,使用户可以按照第二步得到的索 页)开始,读取网页的内容,找到在网页 垂直搜索引擎主要分为 3个功能模 引文件进行查询。该步的关键在于如何 中的其它链接地址,然后通过这些链接 块 图 。网页抓取模块 是垂 设计优秀的查询算法,评定网页的“重要 地址寻找下一个网页。这样一直循环下 ( 1) (WebSpider) 直搜索引擎的第一步,该模块从互联网 度”,努力提高查