10-互联网搜索Searching the Web-1基本原理Basic Principles.pptVIP

10.互联网搜索Searching the Web基本原理Basic Principles 中国互联网络信息中心第24次互联网报告（2009/7 ） 截至2009年6月底，我国网民数量达到了3.38亿，上网普及率达到25.5% ，网民规模居世界第一位 目前中国网站数量已达306.1万个 目前中国的国际出口带宽已经有747,541Mbps CNNIC第23次互联网报告（2008/12 ） 中国网页数超过160亿个，年增长率90% CNNIC第24次互联网报告：经常使用的网络应用(2009/7) CNNIC第24次互联网报告：搜索引擎使用统计(2009/7) CNNIC第16次互联网报告：用户得知新网站的主要途径 搜索引擎： 84.5% 其他网站上的链接： 61.6% 他人推荐介绍： 57.0% 报刊杂志： 21.9% 电子邮件： 21.0% 网址大全之类的书籍： 14.4% 广播电视： 8.7% 户外广告： 7.0% 黄页： 2.7% 其他： 0.6% Web上的搜索 文档集:公开的可接触到的Web: 静态的+动态的 目标: 获取高质量的与用户需求相关的结果 而非普通意义上的文档 需求: Informational – 想学东西 (~40%) 例如：Ajax技术 Navigational – 想去某个网站 (~25%) 例如：中国知识产权局 主页 Transactional – 想做某件事情 (通过web) (~35%) 例如：赴美签证 表格 下载 获取某项服务 下载 电子购物 其他需求 找到一个好的目录式站点 探索式的搜索，看看有什么新鲜事 搜索结果 静态页面 (文档) 文本，mp3，图像，视频，... 哪些页面是搜不到的？ 数据库查询结果“the invisible web”-比如图书动态查询界面将对应每一次查询生成一张页面，搜索引擎一般不会索引这样的页面 私有网页内容--网站主不愿将一些私有内容被抓取，于是在网页中做特定标记，这样网络蜘蛛就不会抓取这类网页 一些术语Terminology http://www.cism.it/cism/hotels_2001.htm 数据规模 无穷无尽的内容 目前中国网页数超过160亿个，年增长率达到90%，网上信息资源的增长速度非常迅猛。 (摘自2009.1第23次中国互联网络发展状况统计报告) 各种各样的人都可以是网站作者 网站多样性 语言/编码 几百种语言, W3C encodings: 55 (Jul01) [W3C01] 主页语言 (1997): English 82%, Next 15: 13% [Babe97] Google搜得的结果 (mid 2001): English: 53%, JGCFSKRIP: 30% web文档和查询的主题 Popular Query Topics (from 1 million Google queries, Apr 2000) 网页变化的频率Rate of change [Cho00] 720K pages from 270 popular sites sampled daily from Feb 17 – Jun 14, 1999 给定平均时间网页改变的部分 Web 特性 作者分布于世界各地 无数的人用自己的方式、语法、词语、观点（甚至是错误的观点）来产生页面。 并不是所有人都单纯地产生高质量的信息，商业动机导致了垃圾网页，而且数量相当巨大。 商业驱动导致网站内容真实性受到置疑。 其他的一些特性 大量重复网页 语法上看 - 30%-40% (near) duplicates 语义上看 - ??? 链接度很高 ~ 8 links/page in the average 复杂的拓扑图 Not a small world; bow-tie structure [Brod00] small world六度分离理论(Six Degrees of Separation):“你和任何一个陌生人之间所间隔的人不会超过六个,也就是说,最多通过六个人你就能够认识任何一个陌生人。” Web 搜索用户的一些特性 查询 查询较短 2001年有人统计过: 查询平均2.54, 80% 3 words) 查询词不精确 不是最理想的句法 (80% 的查询没有任何操作符) 用户付出的努力很低 用户在以下方面有很大不同 需求 期望 知识 带宽 一些细节行为 85% 的用户只看第一屏的结果 78% 的查询没有修改过 (one query/session) 用户会跟随链接往下看 –  “the scent of information” ... 搜索引擎分类 按照检索机制分类 检索型/目录型/混合型 按照