Web在中国的发展状况.pptVIP

Web与Web搜索引擎 王继民 北京大学信息管理系 2009年秋 Outline Web的结构与性质 Web的结构 Web的性质 Web在中国的发展状况 搜索引擎原理与技术 基本原理 天网搜索引擎运行环境 TSSE: 图情主题搜索引擎 搜索引擎的系统评估 Web挖掘研究 Web文档的自动分类与聚类 Web搜索引擎日志挖掘 Web的发展 1989年3月， 欧洲粒子物理研究室首次提出 World Wide Web的概念 1990年9月， 基于文本的第一个原型开始运行 1993年10月，Web发展的第一个高峰,其中在下半年Web不到3个月的时间里翻一翻 1994年5月，Web在中国登陆 1995年4月， 成为Internet上的第一大应用服务 1997年12月， Web上大约有3亿网页 2002年11月，Google索引超过24.7亿网页 2005年初， Google索引约80亿页面 2005年初， 北大天网搜集国内近3亿页面 2006年年初，北大天网搜集国内10.8亿页面 （静态网页） 2008年底， Google索引超过10万亿网页 Web的有向图表示Web页面是万维网上可通过http协议访问的一类文档，它的一个主要特点是其上包含有大量的超链信息，如果把网页看作节点，超链看作有向边的话，那么整个Web就构成了一个有向图；      万维网 站点 A 万维网 站点 C 万维网站点 E 万维网站点 D 万维网站点 B Complex Network Example: WWW (K. C. Claffy) 有向网络， 结点：web页面，边：超链 Web: 可以看作一个复杂网络 可由点的增长与择优连接来模拟 具有无标度（power_law）性质和小世界现象. 有大的聚集系数，小的距离； 结构稳定而又脆弱的性质； Complex Network Example: Internet (William R. Cheswick) 无向网络， 结点：路由器和计算机， 边：通讯设备（如电缆等） 教育网数据: 对xzm搜集的edu数据 2006年5月 网页数量〉1000，有376个，链接关系图 教育网数据--input 50个（入度大小. 按网络影响因子核心站点？ ） Web的结构 （188Million Webpage） 整个Web就构成了一个有向图,该有向图中页面的分布呈蝴蝶结状。 Web的直径 Web直径：令(u,v)表示存在一条从顶点u到顶点v的路径。所有最短路径的平均长度称为Web的直径。 R. Albert etc. 通过实验，得到：Web直径的计算公式 d = 0.35 + 2.06 log(N) 结论：Web直径是 17, 即：任何两个网页如果它们之间存在一条有向路径的话，平均点击不超过17次就可以从一个网页到达另一个网页 IBM, Compaq和AltaVista采用2亿的数据验证，得到Web直径是16.28 中国Web直径为16.26， Brewington and Cybenko 实验结果（ 2000） Web页面平均生命周期为138天，最常见的生命周期为62天。 Web信息越来越活跃，Web页面生命周期有减小的趋势。 右图， Web页面平均生命周期的概率分布 各个Domain 站点的Web页面的半衰期 Web已有哪些性质? 网页的数量每年按几何级数增长 网页的平均大小为10KB—15KB 网页的大小和内容大小的比约为3:1 网页的平均复制率约为4 网页的平均生命周期约为1.4年，半衰期约为1年 服从“power law” 体现“小世界”（small world）现象 整体具有“蝴蝶领结”结构 查询日志具有很强的时间局部性 ….. Outline Web的结构与性质 Web的结构 Web的性质 Web在中国的发展状况 搜索引擎原理与技术 基本原理 天网搜索引擎运行环境 TSSE: 图情主题搜索引擎 搜索引擎的系统评估 Web挖掘研究 Web文档的自动分类与聚类 Web搜索引擎日志挖掘 中国十大互联网 初期中国四大互联网: 中国公用计算机互联网：ChinaNET() 中国金桥信息网： ChinaGBN() 中国教育和科研计算机网：CERNET() 中国科技网CSTNET() CERNET八大地区网络中心 · 华北地区 · 西北地区 · 西南地区 · 华南地区 · 华中地区 · 华东北地区 · 东北地区 · 华东南地区 CERNET 北京大学