主题搜索引擎的探讨.pdfVIP

主题搜索引擎的探讨 ‘ 厉亮 ‘蒙应杰 ‘赵书城’,2童礼英’ 兰州大学信息科学与工程学院 2.兰州大学图书馆 摘 要 主题搜索引李是主题Web信忽博物馆的关健组成部分 本文重点探讨了以软煌学 主题Web信息为样本的主题搜索引擎信息采集策略，并给出了一种比较理想的主题搜索引擎设 计方案。 关键词 主题搜索，主题智能机器人，软煌学 OnResearchofFocusedSearchEngine LiLiangMengYingjieZhaoShuchengzDongLiying 1.SchoolofInformationScienceandTechnology,LanzhouUniversiyt,Lanzhou,730000 2.LibraryofLanzhouUniversiyt,Lanzhou,730000 AbstractFocusedsearchengineisthekeypartofthefocusedWebinformationmuseum.Based ontopicalinformationaboutDunbuangstudies,thispaperdiscussesthetechniquesoffocusedinfor- mationcollection,andproposesamodelforfocusedsearch. Keywords focusedcrawling,focusedcrawler,Dunhuangstudies 一、引言 搜索引擎大致经历了三代19[1的更新发展:第一代搜索引擎出现于1994年，以WWW为代表15[1 它极少重新搜集网页进而刷新索引，且检索速度慢。第二代搜索引擎大约在19%年出现，以yahoo 为代表，大多采用分布式方案。自1998年，搜索引擎得到了快速的发展，出现了大量的综合性 搜索引擎，一般将这一时期的搜索引擎称为第三代搜索引擎。以google为代表，第三代搜索引 擎的发展有如下几个特点:(1)索引数据库的规模大;(2)除普通搜索外，出现主题搜索和地域 搜索;(3)检索结果数据量过大，相关度评价成为研究的焦点;(4)采用了网页自动分类技术。 随着信息多元化的发展，综合性搜索引擎己经不能满足主题用户的需求。这种情况下，用 率项目资助 木研究得到科技部项目:教煌文物保护数字化研究(2001DIB10060)的资助。 主题搜索引擎的探讨 户迫切需要一个数据分类细致、精确、全面、更新及时的面向主题的搜索引擎来获取主题资源 信息。由于主题搜索运用了文本智能化分类以及特征提取等智能化策略，因此比前三代搜索引 擎更加有效和准确，我们将这类比较完善的主题搜索引擎称为第四代搜索引擎。一般搜索引擎 包括h[l信息采集系统、索引系统、检索系统和用户应用程序四个模块系统，而主题搜索引擎同 样由类似的四部分组成，其中最关键的就是主题信息采集系统，它通过主题智能机器人(Fo- cused-Crawler)完成。从信息采集的角度来看，搜索引擎的关键技术现已发展到第四代，但现有 的搜索引擎信息采集相关技术成果大都是面对综合型信息采集的，当然也有个别针对主题搜索 引擎，但主题信息的采集还没有较理想的解决方案。 本课题组在建设敦煌学数字图书馆项目(敦煌文物保护数字化研究，科技部，项目号 2001DIB10060)的过程中掌握了大量的有关敦煌学的网络资源Ill。根据初步统计结果，有关敦煌 学的网页数量仅中文就在20万左右。同时，也发现敦煌学研究者敦煌学主题的网络资源的历史、 发展现状都有迫切的需要。因此，开展敦煌学主题Web信息博物馆的研究，并以敦煌学主题资 源为样本提出面向主题的信息采集策略解决方案，它具有广泛的应用价值。 二、教煌学主题Web信息博物馆的介绍 众所周知，教煌学是一门国际性显学，它所包含的文献信息和研究对象具有多媒体、多语 种、多学科等特点。例如:石窟艺术、壁画彩塑、敦煌遗书、相关研究文献等。 敦煌学主题Web信息博物馆主要解决的关键问题主要有信息的标准化、信息发布、信息采 集及分类存储等。 1.信息的标准化 为了主题用户方便地使用信息，需对信息进行标准化处理，这要遵循一定规范标准。DCIio7 (DublinCore)是目前国际上首选的描述网络资源