搜索引擎研究新技术.pdfVIP

维普资讯 2005年5月 情报探索 第3期(总第 期) 搜索引擎研究新技术 林端宜 陈榕虎 (福建中医学院信息管理研究所 福州 350003) 摘 要 介绍了近期两类国内搜索引擎技术的研究状况：爬虫系统性能优化技术研究及高级文件搜索 引擎核心技术研究。爬虫系统性能优化侧重于：对爬行方式的优化实现海量信息源的高效索引；对URL数据 库存取算法的优化提高用户检索的响应速度。高级文件搜索引擎研究是通过对字符串匹配的扩展、属性过 滤的扩展、查询结果优化排序、输出结果的优化选择等7种核心技术的有效结合，丰富了文件搜引擎的功能。 关键词 互联网 搜索引擎 爬虫技术 检索技术 搜索引擎作为网络信息搜寻的工具，它以一定 长足进步。但至今，功能再强大的搜索引擎都仍然 的策略在互联网中搜集、发现信息，对信息进行理 存在信息丢失、招回率不高、精确率不高等问题。用 解、提取、组织和处理，并为用户提供检索服务。 户需要更快、更准、更方便、更有效的查询服务成为 早期的搜索引擎将互联网中的资源服务器做为 搜索引擎技术发展研究追求的目标。 搜索的目标，并将收集的数据按概念进行分类，用户 2003年3月 “全国首届搜索引擎和网上信息挖 从分类引导中索取所需的信息资源。随着网络资源 掘学术研讨会”在北京大学举行，该会收录论文 3O 成几何量级增长，这种方式很快就被淘汰。1994 篇，基本反映了当前国内研究状况及进展，本文将其 年，Spider程序被应用到索引程序中，Yahoo、Coogle 中最具代表性的 lgloo1．2版网络搜索引擎和天网 等相继出现，搜索引擎技术在应用和性能方面得到 FTP搜索引擎关键技术的研究状况做一介绍。 横向整合即对不同的数据库中相同学科专业的数字 字化，通过 DC元数据的应用，可以对知识资源实现 对象进行优化整合。纵向整合则是将不同学科专业 横向和纵向整合，通过建立 DC、MARC等多种元数 的数字资源整合为具有多维立体网状结构的有机知 据的关联，并以XML结构的RDF资源描述体系封装 识整体。 整合多种元数据，实现对数字资源的综合整合，最终 现在的数据库通常只是将信息简单地数字化和 实现文本、图像、音频、视频等不同媒体，图书、期刊、 有序化，无法根据各类读者的需要组合成特定的知 会议录、学位论文等不同类型，书 目、文摘、索引、引 识体系。怎样让读者在众多信息源中迅速、直接选 文、综述、评论、全文等不同级次资源的链接，建立起 中自己所要检索的相关信息，能不能将信息整理、筛 文献、机构、人物等科学研究所需的知识元素之间的 选，划分成许多类别分明、有特色的 “知识块”，以利 联系和整合，从而形成知识因子的有序化，使知识的 于读者使用呢?知识仓库的出现，为我们解决相关 条 目、事件、来源线索等相关信息形成有机的联系， 问题提供了有效的技术手段。20世纪9o年代，西 成为具有特定知识结构功能的知识仓库。 方管理学家提出了知识管理的概念，认为采用现代 参考文献 信息技术和手段将信息加工整理成为知识，并对这 1 孙利红．数字图书馆资源组织．现代图书情报技术， 2002(1) 些知识按照某种知识结构进行有效的管理，形成具 2 崔风雷，肖珑 ．前行在数字图书馆事业