4 文本检索 - 谢谢您的光临哦.pptVIP

4 文本检索研究 第五讲 WEB检索研究(WEB IR) 陆铭 richard.lu@ 内容提要 WEB IR的基本概念 搜索引擎的组成 信息采集 信息分析及索引 信息搜索 WEB IR的定义 基于WEB的信息检索研究 搜索引擎是最典型的代表 搜索引擎(Search Engine，简称SE)是实现如下功能的一个系统 收集、整理和组织信息并为用户提供查询服务 面向WEB的SE是其中最典型的代表 三大特点：事先下载，事先组织，实时检索 搜索引擎也是信息检索(Information Retrieval) 这门学科的典型应用 WEB搜索引擎和一般IR的区别 检索对象不同 搜索引擎面向大规模、半结构化、质量不一、位置分散、交叉互联、冗余繁杂的WEB数据 一般检索通常只考虑较高质量自然语言表述的书面文本(如新闻等) 查询方式不尽相同 前者通常为1~3个词的短查询，后者考虑各种方式的查询 用户对结果的反应不同 前者的用户通常只关心前几页的结果，更关注准确度；而后者准确度和全面度并重 Web IR结构图 WEB图中的一些概念 节点(Node) 指每个网页，当图中每个连接的单位是网站时，每个网站看成一个Node 入度(In degree) 每个Node的入度指的是指向该Node的Node数目 出度(Out degree) 每个Node的出度指的是该Node指向的Node数目 WEB的相关特性(1) Power Law(幂分布定律)：WEB的很多属性满足f(x)=x-λ，λ1 WEB的相关特性(2) Small world(小世界)理论 整个WEB虽然庞大，但是任意两点之间的平均距离却不大。有人做过实验，计算出整个WEB的平均距离约为19 人类社会的六度分离理论，人类社会至多通过6人可以实现两人的互通 WEB的相关特性(3) WEB的结构 蝴蝶结型(Bow-tie) SCC为连通部分 IN中网页指向SCC SCC指向OUT中网页 非连通部分(Tendrils) 基于WEB特性的一些研究 社区挖掘 社会计算 小世界模型 搜索引擎类型 按照检索机制分类 检索型/目录型/混合型 按照检索内容分类 综合型(通用型)/专题型/特定型 按照检索工具数量分类 单独型/集合型(元搜索引擎) 按照检索资源的类型分类 WEB型/非WEB型 检索型/综合型搜索引擎 目录型搜索引擎 专题型搜索引擎 特定型搜索引擎 元搜索引擎 非WEB型搜索引擎 搜索引擎简史回顾 1986年，Internet正式形成 现代搜索引擎的祖先 1990年由加拿大蒙特利尔McGill大学学生Alan Emtage发明的Archie，是对FTP文件名搜索，首次采用“机器人”自动爬行程序 第一个用于监测互联网发展规模的“机器人”程序是1993年MIT的Matthew Gray开发的World wide Web Wanderer 刚开始它只用来统计互联网上的服务器数量，后发展为能够检索网站域名 Lycos 第一个现代意义上的WEB搜索引擎，CMU机器翻译中心的Michael Mauldin于1994年7月创建 Yahoo 斯坦福大学博士生DavidFilo和Jerry Yang(杨致远)创建1995年 Google 斯坦福大学博士生Larry Page与Sergey Brin于1998年9月创建，目前是全世界最受欢迎的搜索引擎 Baidu 超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇发布于2001年10月，是目前最受欢迎的中文搜索引擎之一 搜索引擎索引网页数目变化(1) 搜索引擎索引网页数目变化(2) 搜索引擎基本组成示意图 Google的组成 组成模块的功能 信息收集或采集(Information Gathering) 获取信息，通常是指从Internet上自动获取信息 信息整理和组织(Information Organization) 预处理 文本分析和处理 信息标引——将查询和文档表示成方便检索的某种方式 信息搜索(Information Search) 查询的分析 相似度计算和排序(Ranking) 结果摘要 信息采集的概念 主要是指通过Web页面之间的链接关系从Web上自动获取页面信息,并且随着链接不断向所需要的Web页面扩展的过程，信息采集系统也常常称为Robot, Spider, Crawler等等 信息采集是搜索引擎获得数据来源的过程，地位相当重要 信息采集的目标：快速获得高质量的网页 信息采集是一项十分繁杂和庞大的工程 不同的协议 不同的网络情况 时效性的要求 网页质量的要求 实际上是图的遍