计算机学科导论第3章.pptVIP

* * * * * * * * * * * * * 信息检索原理与应用 * 搜索引擎的基本原理 信息检索原理与应用 * 预处理 构件文档集合的索引——倒排索引 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。 倒排索引被广泛用于搜索引擎系统对海量网页的存储，其效率要高于其它索引结构。 搜索引擎的基本原理 信息检索原理与应用 * 预处理 构件文档集合的索引——倒排索引 原始文档文章1：Tom lives in Guangzhou, I live in Guangzhou too. 文章2：He once lived in Shanghai. 关键词文章1：[tom] [live] [guangzhou] [i] [live] [guangzhou]文章2：[he] [live] [shanghai]  搜索引擎的基本原理 关键词 文章号[出现频率] 出现位置 guangzhou 1[2] 3, 6 he 2[1] 1 i 1[1] 4 关键词 文章号[出现频率] 出现位置 live 1[2],2[1] 2, 5, 2 shanghai 2[1] 3 tom 1[1] 1 信息检索原理与应用 * 查询 利用倒排索引文件，迅速给出相关的文档集合 主流搜索引擎的查询模式：用一个词或者短语直接表达信息需求，相关的网页中含有该词或者该短语中的词 容易实现，语义性较弱 “如何学好C/C++？” 从文档集合中产生一个文档排序列表 主流搜索引擎的结果展示模式：网页按照重要程度和相关程度进行排序（排序的因素一般有上百种） 据统计，搜索引擎用户平均翻页次数小于2 文档摘要 搜索引擎的每条结果：标题 + 网址 + 摘要 搜索引擎的基本原理 信息检索原理与应用 * 查询 搜索引擎的基本原理 信息检索原理与应用 * Yahoo！ 1994年4月 美国斯坦福大学电机工程系的博士生：David Filo和Jerry Yang YAHOO = Yet Another Helpful Operation Origin YAHOO = Yet Another Hierarchical Officious Oracle YAHOO = Yet Another Hierarchically Organized Oracle YAHOO = Yet Another Hypertext Online Organizer YAHOO = You Always Have Other Options 常见的搜索引擎 信息检索原理与应用 * Yahoo！ 常见的搜索引擎 信息检索原理与应用 * Google 1998年9月7日，加州一个车库 美国斯坦福大学计算机系的博士生： Sergey Brin和Larry Page googol 1个Googol所代表的数字为1后面加上 100 个零。 Googol 是一个非常大的数字，宇宙中没有什么物质的数量可以达到1个 Googol -- 无论星星、尘埃还是原子。 常见的搜索引擎 信息检索原理与应用 * Google 常见的搜索引擎 信息检索原理与应用 * Ask 1996年6月 Ask?Jeeves被设计成回答用户提问的自然语言引擎。搜索时，它首先给出的是数据库中可能存在的答案，然后才是网站链接。 常见的搜索引擎 信息检索原理与应用 * Ask 常见的搜索引擎 信息检索原理与应用 * Vivisimo 1998年美国国家科学基金会资助的一个实验项目 采用了一种专门开发的启发式算法来集合或聚类原文文献 完全自动化的，不需要人为进一步干扰，也不需要维护 常见的搜索引擎 信息检索原理与应用 * Vivisimo 常见的搜索引擎 * * * * * * * * * * * * * * * * * * * 信息检索原理与应用 * 信息检索的基本概念 信息检索的历史 搜索引擎的基本原理 常见的搜索引擎 * Web is Nothing without Search 信息检索原理与应用 * 信息过载（Information overload） “…全世界每年产生1到2EB（1EB=1024PB, 1PB=1024TB）信息，相当于地球上每个人大概产生250MB信息。其中纸质信息仅占所有信息的0.03%...” Tom Landauer认为人的大脑只能存储200M信息量，一辈子只能接触6G的信息量。 “人类目前至