第八章-搜索引擎技术.ppt

北京大学软件与微电子学院2009年度课程 第八章 搜索引擎技术 2010年11月 主要内容 信息采集技术(Information gathering) 信息的组织和索引(Information organizationindexing) 相似度计算—信息检索模型(IR models) 链接分析技术 查询分析技术 结果呈现技术 搜索引擎的评估技术(Evaluation) 主要内容 信息采集技术(Information gathering) 信息的组织和索引(Information organizationindexing) 相似度计算—信息检索模型(IR models) 链接分析技术 查询分析技术 结果呈现技术 搜索引擎的评估技术(Evaluation) 信息的采集技术 信息采集的概念 主要是指通过Web页面之间的链接关系从Web上自动获取页面信息,并且随着链接不断向所需要的Web页面扩展的过程，信息采集系统也常常称为Robot, Spider, Crawler等等 信息采集是搜索引擎获得数据来源的过程，地位相当重要 信息采集的目标：快速获得高质量的网页 信息采集是一项十分繁杂和庞大的工程 不同的协议 不同的网络情况 时效性的要求 网页质量的要求 实际上是图的遍历过程 通过种子页面或站点(Seed)，获取更多的链接，将它们作为下一步种子，循环 这个过程一般永远不会结束！ W