中国人民大学web信息检索-导论.pptVIP

讲课内容 信息检索的基本知识 知识发现的基本技术 Web的建立 How Much Info 工程 由Intel, Microsoft, HP, EMC等公司赞助，UC Berkeley大学完成 2002年世界上共产生了5Exabyte的数据，其中92%的信息存储于电子介质 相当于人类历史上所有说过的话语所包含的信息量的总和 大部分存储于Web中，构成了Web中超过150Billion的网络页面 World Wide Web是什么? The world wide web (web) is a network of information resources. The web relies on three mechanisms to make these resources readily available to the widest possible audience: 1. A uniform naming scheme for locating resources on the web (e.g., URLs). 2. Protocols, for access to named resources over the web (e.g., HTTP). 3. Hypertext, for easy navigation among resources (e.g., HTML). Web是一个有向图 目前最受北美IT毕业生青睐的公司 Google Apple Microsoft Yahoo! 其中有个公司的主要业务之一是信息检索。微软已经认为他们过去是犯了错误，目前正在飞速追赶。目前Google,微软在美国正在建立巨型的数据处理中心，保存通过Internet, 卫星等收集的数据。上述3公司的搜索部门在面试时，一般会问关于现代检索的核心算法，概念等。 信息检索的重要性 全球范围数字化、信息化的基础服务 科学研究领域中的信息获取 电子商务中的产品检索、评估 日常生活中的信息和知识的获取 企业创新能力的提高 Deep Wep信息的获取 原因：纸面载体的信息都数字化了， 更方便进行获取。 和以往IR研究的区别 原来是图书馆学的专业方向，但目前的研究和以前的研究相差太大了。 目前的研究者来自：数据库，人工智能，计算机算法，人机交互，多媒体，移动通讯，模式识别，地理信息和卫星图像处理等都加入到这个领域。 网页爬去的主要工作 信息获取 网页的收集 Web 的挖掘 信息归类存档 知识发现 Web 尺寸? 统计特征? 进化发展? 问题-答案系统、推荐系统 爬虫算法 深度优先扫描 广度优先扫描 对垂直检索系统,启发式局部扫描 倒排文档 Inverted Files Word-Level Inverted File Word-Level Inverted File 面向领域的垂直检索系统的PageRank 和查询内容有关、 和领域知识有关 和机器学习、人工智能的发展有关 如何计算仍是一个未能很好解决的问题 块分解和内容分析 基于视觉的网页划分 基于DOM树的划分 基于统计学的分析 IR 的新研究课题1 自动文本摘要或主题的提取 Whizbang Fetch Burning Glass 问题回答系统 TREC Q/A track Answer.google 新一代的图像检索模式 基于对网页文本和图像的对应关系，建立对图像的元数据描述。 image/video 分析和处理，模式识别，计算机视觉，图象建摸,多媒体数据库的组织、 高维空间索引，心理学模型，人机交互模型等。 目前基本方法：基于颜色、纹理、形状和位置关系 检索方式：基于样本或示例的检索+反馈分析  IR 的新研究课题3： 垂直检索技术 目前通用的搜索引擎对Internet网页的覆盖率小于50%。未来计算机的存储和运算能力都不可能100%的覆盖，需要面向具体领域的专用搜索引擎 如就业，股票，宾馆饭店，地图，天气，商品查找，任务，风景，。。。 垂直检索也是未来利用移动通讯设备检索的支撑技术 IR 的新研究课题4基于移动设备的信息检索 Google已经决定进军手机的检索，而NEC, 微软已经开始了对手机检索系统的研究。 解决的科学与技术问题，如何在小屏幕上显示用户的检索结果，如何在小键盘上输入不方面的情况下进行文本检索？能否通过语音检索？能否通过图片进行检索？因为手机更方便语音和图像。 手机和教育 微软亚洲研究院目前征求研究建议 手机检索课件 手机做听课笔记 还能做什么？  IR 的新研究课题5：对DEEP Web 的信息检索 Deep Web 是可以通过Internet 访问的数据库，它们所承载的信息量是目前Intern