智能信息技术基础-11信息检索.pptVIP

信息检索技术Information Retrieval Technique 封筠 Email：fengjun7171@ :6621/ User: Student.feng 08-05 Outline 一、信息检索技术基础 二、WEB信息检索——搜索引擎 三、图像检索技术 WEB信息检索——搜索引擎 一、WEB信息检索简介 二、搜索引擎总体介绍 三、爬虫技术介绍 四、中文分词和排序算法介绍 一、 WEB信息检索简介 1、背景 2、 WEB信息特点 3、 WEB的信息组织 4、 WEB信息的检索方式 5、 WEB信息检索系统的分类 6、 WEB信息检索系统现状及展望 1、 背景 WEB是因特网上信息组织的一种重要方式。 WEB信息资源是指在超文本（hypertext）传输协议HTTP的基础上，采用超文本、超媒体（hypermedia）技术，将文本、图像、图形、声音以及视频集成在一个页面上，并以直观的图形用户界面提供信息的资源形式。 WEB自1990’s来，因其使用简单、功能强大，因而迅速发展，成为最丰富的网络信息资源形式。 1、 背景 WEB已经成为有史以来最大的信息库，并且其内容仍在以指数级增长。 信息发布技术简单易用－信息检索技术滞后 问题：信息过载 用户：怎样找到我想要的信息？ 从研究角度，我们需要研究这样一个信息系统，它能够高效、准确地从WEB数据中查找用户需要的信息、并以有效的形式呈现给用户。 2、 WEB信息特点 大规模：全球网页数量过百亿 分布性：通过TCP/IP、HTTP等协议相互链接，将某一主题的相关信息联系在一起。这些信息可以在一个服务器中，也可分布在全球各地的不同站点上。如何将各处的信息搜集起来，如何对这些信息建立索引以满足分布信息的实际需求。 无结构性：WEB页面本身是非结构化的（或半结构化的），而网页中包含的多媒体数据更是复杂类型的非结构化数据。需要对其进行资源定位和基于内容的方法分析，以便进行检索 2、 WEB信息特点 动态性：在WEB上可随时方便地、迅速地将信息放到网上，还容易地删除、移动信息，因此信息总是处于高度动态变化的状态。需要考虑对已经建立好的索引或者已经结构化好的多媒体数据按照需要进行动态更新。 非规范性： WEB的开放性和用户的随意性使得信息资源的质量无法得到保证，其中包含了低劣的内容以及拼写错误等噪声。 3、 WEB的信息组织 采用浏览器/服务器（Brower/Server）结构。 主要用以下协议和标准定义： （1）URI(uniform resource identifiers)/URL(uniform resource locators):统一资源描述符/统一资源地址。 （2）HTTP(hypertext transfer protocol):超文本传输协议。 （3）HTML(hypertext markup language):超文本标记语言。 WEB使用这些协议和标准进行信息定位、信息存取和信息显示。 3、 WEB的信息组织 4、 WEB信息的检索方式 基于超链的信息浏览 通过超文本/超媒体链来浏览因特网，检索感兴趣的信息。如电子出版物等。方便快捷、偶然片面、事先知道URL、效率低、易中断 基于目录索引的信息查询 根据信息的主题将网上资源分类，以目录的树状形式组织和表现。 基于搜索引擎的信息检索 用户通过浏览器输入查询请求，搜索引擎在事先建立的索引库中检索，然后向用户提供用户感兴趣的信息所在的网址。中文搜索引擎指南网（/）中介绍了目前主要的一些中英文搜索引擎。 5、 WEB信息检索系统的分类 搜索引擎与目录索引 元搜索引擎（meta search engine） 信息检索代理 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 5、 WEB信息检索系统的分类 6、 WEB信息检索系统现状及展望 面向WEB的信息检索系统 基于robot的搜索引擎: Google、altavista、baidu、tianwang 基于目录的搜索引擎： Yahoo、sina 元搜索引擎(metasearch): Metacrawler、Savvysearch 信息检索Agent: WebWatcher、Fab、 CopernicAgent 6、 WEB信息检索系统现状及展望 WEBIR系统现存的问题 检索手段单一、信息需求难以表达 返回结果不相关、质量低 返回结果展现方式单调 6、 WEB信息检索系统现状及展望 WEBIR系统如何