Web搜索引擎与全文检索技术.pdfVIP

第21卷第5期 情 报 科 学 VoM1．21，No．5 2003矩 5B ay，2003 Web搜索引擎与全文检索技术 李 玮 李 利 (南京大学信息管理系 ，南京 21OO93) 摘 要 本文主要阐述了全文检索技术在Web搜索引擎中的应用，对国内Web搜索引擎的全文检索技术 中的不足进行了分析和思考并提出解决办法 ，同时对 Web搜索引擎中的全文检索技术的发展提 出了自己的 观 点 。 关键词 全文检索 搜索引擎 Internt 中图分类号 G254 文献标识码 A 文章编号 1007—7634(2003)05—0558．03 W ebSearch Engineand Full-- textRetrievalTechnique LiW ei IiIi (InformationManagementDepartmentofNanjingUniversity，Nanjing210093) Abstract Thepapermainlystatestheusingoffull-- textretrievaltechniqueinwebsearchengine，analyses theshortcomingsand pointsoutsomesolution，atthesametime，pointsoutauthor’sownidea． Keywords Full--textretrieval Searchengine Internet web站点上的信息，并将搜索结 果以条 目的形式 呈现 给用 1 引 言 户 ，当用户需要查看某条信息的全文时，只需单击该条 目，系 统便 自动与相应的站点建立链接 ，然后 以浏览的方式将全文 呈现给检索用户。搜索引擎本身就起源于传统的信息全文检 近年来 ，因特 网 (Int[r~net)特别是其上 的 Web网的迅猛 索理论 ，即计算机程序通过扫描每一篇文章 中的每一个词， 发展使得信息的采集、传播和利用在规模上和速度 上都达到 建立 以词为单位 的倒排文件 ，检索程序根据检索词在每一篇 了空前的水平，web网已成 为一个巨大的信息共享资源库 ， 文章中出现的频率和每一个检索词在一篇文章中出现的概 大量有价值的信息资源蕴藏在这个宝库中。然而与之俱来的 率 ，对包含这些检索词 的文章进行排序 ，最后输 出排序 的结 问题是 ；大量 的信息有时使人无所适从 ，从浩如烟海 的信息 果。全文检索技术是搜索引擎 的核心支撑技术。搜索引擎的 海洋 中_迅速而准确地获取 自己最需要 的信息变得非常困难 ， 基本原理是通过蜘蛛程序定期在 web空间中漫游 ，然后发 所 以人们 需要一种 工具，使信息 资源得到有效 的利用 ，以 现新 网页或是 网页变动 ，把这些网页存放到本地 的数据库 web上 的信 息 为 主要 处 理 对 象 的 web搜 索