搜索引擎工作流程起源于信息检索理论包括如下3个工作过程搜集Web.PPTVIP

The Anatomy of Search Engine 0/yc/TSE/ 搜索引擎工作流程 起源于信息检索理论 包括如下3个工作过程 Architecture Data Structure Big Files Repository Document Index Lexicon Hit Lists Forward index Inverted index * 搜集Web信息 建立索引库 检索查询 www 用户 * * * 1.搜集Web信息：发现、搜集Web上的网页信息。需要有高性能的搜集器自动的在Web中搜索信息。Web信息搜集器是下载Web上网页的程序。它顺着网页之间的链接移动，自动地下载所经过的网页。给定起始URL集合S，Web搜集器不停的从S中移除URL，下载相应的网页，解析出网页中的超链接URL，将未访问过的URL加入集合S。Web搜集器也称作Web机器人或Web蜘蛛。搜集器把所获得的信息保存下来以备建立索引库和用户检索。 2.索引库的建立：对搜集到的Web信息提取和组织，建立索引库。这关系到用户能否迅速地找到准确、广泛的信息。对搜集器抓来的网页信息快速地建立索引，通常采用倒排表技术。如果在建立索引库的过程中对用户在检索端搜索的查询串进行跟踪，并对查询频率高的查询串建立Cache，可以在检索端请求时，加快索引库的响应速度。 3.检索端的查询：根据用户输入的查询字串，在索引库中快速检索出文档。采用基于网页内容分析和基于超链分析相结合的方法进行相关度评价，客观地对检索出的网页进行排序，从而尽量保证搜索出的结果与用户的查询串相一致。然后将输出的结果返回给用户。为了加快检索端的响应速度，可以根据最近用户查询信息建立检索端Cache。