专题搜索引擎的构建.pdfVIP

2009年第 1期 牡丹江师范学院学报 (自然科学版) No．1，2009 (总第 66期) JournalofMudanjiangNormalUniversity TotalNo66 专题搜索引擎的构建 杨治秋 (牡丹江师范学院计算机科学与技术系 ，黑龙江 牡丹江 157012) 摘 要：随着www 信息的“爆炸式”增长和人们对搜索引擎关注点的转变，搜索引擎门户面临着新的挑 战．因此，提出并构建一个专题的元搜索引擎模型框架． 关键词 ：专题搜索引擎；元搜索；关键词 [中图分类法]TP4 [文献标识码]A [文章编号]1003—6180(2009)01—0013—02 专题性搜索服务是一种专题性服务，又是一 种信息化的服务，它能够满足用户对某一专题信 息的需求 ，通过在一定范围内进行搜索 ，从中识别 用户的信息需求 ，并且能够根据用户对搜索结果 的评价 ，自觉调整搜索策略，使用户能够快速 、准 确地找到 自己需求的信息． 1 专题搜索引擎的工作原理 首先利用特定的软件按照用户的要求，自动从 Internet服务器上搜索信息资源，再按照专题要求 进行人工分类 ，建立索引，将索引好的内容存放到 图 1 专题搜 索 引覃模型 本地数据库．这种计算机 自动搜索与人工分类相结 为提高搜索效率，本系统采用多个 网络机器 合建立的搜索引擎后台数据库，既能及时补充网上 人协同工作的方式并发执行进行信息采集 与更 随时更新的信息，又能使用户按照科学的分类体系 新．机器人控制台程序负责协调它们的工作 ，并且 准确地查询到满意的信息．用户在检索时只需利用 提供一个人机交互界面，供 系统管理员手工添加 搜索引擎的界面接 口输入检索要求，后台数据库检 起始 URL、配置网络机器人工作方式等． 索软件即可对其要求进行处理 ，并将结果反馈给用 起始 URL列表的形成 起始 URL列表 中 户，用户可根据返回的摘要信息决定是否要继续访 包括一系列网址，WebRobot可从这些网址 开始 问原始站点，以得到更为详细的信息． 寻找超链 ，发现其他 的网址．在本系统 中，起始 URL列表的数据结构是一棵排列树 ，系统实现时 2 专题搜索引擎总体框架 图 采用如表 1所示的结构． 表 1起始 URL列表存储结构 本系统的设计，利用元搜索引擎的原理，加入机 器人搜索、本地数据库以及关键词计算等新的设计 思路和内容，改进 了一种基于元搜索引擎的专题搜 索引擎的框架模型．新构建的框架模型如图1所示． 2．1 信息采集与更新模块 信息采集更新模块的构成 信息采集模块 的 系统在提取起始 URL列表时，首先 ，以关键 核心部分是 网络机器人 (WebRobot)．网络机器 词信息库中增加的高频词条作为查询关键词 向多 人的起始 URL主要来 自“元搜索”整理的 URL 个搜索引擎系统发 出查询请求 (即向有关服务器 列表．每当关键词信息库中加入新的高频词条时， 提交搜索页面)；然后，下载查询结果 ；最后 ，将各 启动 “元搜索”，以新的高频词条作为关键字，向各 个网站的结果进行整合 ，建立 URL列表供 网络 个大的搜索引擎系统 (如天网、搜狐等搜索引擎系 机器人搜索使用．这个过程主要分为利用元搜索 统)发送查询请求 ，对返 回的结果进行整合，将其