第7章 Web检索演示文稿.PPTVIP

第七章 Web检索 内容提要 ??WEB IR的基本概念 ??搜索引擎的组成 ??信息采集 ??信息分析及索引 ??信息搜索 ??WEB IR的基本概念?? ??搜索引擎的组成 ??信息采集 ??信息分析及索引 ??信息搜索 Web IR的定义 基于的WEB的信息检索研究。搜索引擎是最典型的代表。以下主要通过搜索引擎来介绍WEB IR。 搜索引擎(Search Engine，简称SE)是实现如下功能的一个系统：收集、整理和组织信息并为用户提供查询服务。面向WEB的SE是其中最典型的代表。 三大特点：事先下载，事先组织，实时检索。 搜索引擎也是信息检索(Information Retrieval) 这门学科的典型应用。 WEB搜索引擎和一般IR的区别 检索对象不同：前者面向大规模、半结构化、质量不一、位置分散、交叉互联、冗余繁杂的WEB数据。后者通常只考虑较高质量自然语言表述的书面文本(如新闻等)。 查询方式不尽相同：前者通常为1~3个词的短查询，后者考虑各种方式的查询。 用户对结果的反应不同：前者的用户通常只关心前几页的结果，更关注准确度。而后者准确度和全面度并重。 WEB图结构 WEB图中的一些概念 节点(Node)：指每个网页，当图中每个连接的单位是网站时，每个网站看成一个Node。 入度(In degree)：每个Node的入度指的是指向该Node的Node数目。 出度(Out degree)：每个Node的出度指的是该Node指向的Node数目。 基于WEB特性的一些研究 ??社区挖掘 ??社会计算 ??小世界模型 搜索引擎类型 按照检索机制分类 检索型/目录型/混合型 按照检索内容分类 综合型(通用型)/专题型/特定型 按照检索工具数量分类 单独型/集合型(元搜索引擎) 按照检索资源的类型分类 WEB型/非WEB型 检索型/综合型搜索引擎 目录型搜索引擎 专题型搜索引擎 特定型搜索引擎 元搜索引擎 非WEB型搜索引擎 搜索引擎简史回顾 1986年，Internet正式形成。 现代搜索引擎的祖先：1990年由加拿大蒙特利尔McGill大学学生Alan Emtage发明的Archie，是对FTP文件名搜索，首次采用“机器人”自动爬行程序。 第一个用于监测互联网发展规模的“机器人”程序是1993年MIT的Matthew Gray开发的World wide Web Wanderer。刚开始它只用来统计互联网上的服务器数量，后来则发展为能够检索网站域名。 Lycos：第一个现代意义上的WEB搜索引擎，CMU机器翻译中心的Michael Mauldin于1994年7月创建 Yahoo：斯坦福大学博士生DavidFilo和Jerry Yang(杨致远)创建1995年 Google：斯坦福大学博士生Larry Page与Sergey Brin于1998年9月创建，目前是全世界最受欢迎的搜索引擎。 Baidu：超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇发布于2001年10月，是目前最受欢迎的中文搜索引擎之一。 搜索引擎的基本概念 搜索引擎的组成?? 信息采集 信息分析及索引 信息搜索 搜索引擎基本组成示意图 例子--Google的组成 组成模块的功能 信息收集或采集(Information Gathering) 获取信息，通常是指从Internet上自动获取信息 信息整理和组织(Information Organization) 预处理 文本分析和处理 信息标引—将查询和文档表示成方便检索的某种方式 信息搜索(Information Search) 查询的分析 相似度计算和排序(Ranking) 结果摘要 WEB IR的基本概念 搜索引擎的组成 信息采集?? 信息分析及索引 信息搜索 信息采集的概念 主要是指通过Web页面之间的链接关系从Web上自动获取页面信息,并且随着链接不断向所需要的Web页面扩展的过程，信息采集系统也常常称为Robot, Spider, Crawler等等 信息采集是搜索引擎获得数据来源的过程，地位相当重要 信息采集的目标：快速获得高质量的网页 信息采集是一项十分繁杂和庞大的工程 不同的协议 不同的网络情况 时效性的要求 网页质量的要求 实际上是图的遍历过程 通过种子页面或站点(Seed)，获取更多的链接，将它们作为下一步种子，循环 这个过程一般永远不会结束！ 信息采集的基本结构 采集的遍历算法 宽度优先vs. 深度优先 宽度优先：先采集完同一层的网页，再采集下一层网页 深度优先：先沿一条路径采到叶节点，再从同层其他路径进行采集 有研究表明：宽度优先的方法得到的网页集合的重要性更好 网站采集vs. 全局URL采集 网站采集：一个网