海量网页集合剖析和处理机遇挑战和实例李晓明.pptVIP

评测 从6800万相似网页集合中随机抽样1000个集合进行人工评测 对于每一个抽样集合，我们确定一个代表元素（在集合中有最多真相似（即人工判定为相似）的元素）RP 精度和召回率的定义： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 结果 召回率以simhash为相对基准 计算LCS，实验发现取r=0.28较好 （显然，这与数据集有关） Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 于是 用6台机器，花120小时，我们将4.3亿网页集合划分成了6800万个相似网页子集，其精度和召回率均好于公认较好算法的结果（性能相当） 为什么精度会高？ 我们采用了LCS作为判据，直觉上，它就是反映两个文档相似情况的 其他算法（simhash,shingling）本质上都是用“相似的概率”作为判据，是间接的 为什么性能也不错？ Myer算法和分治方法，加上在实现中的细节处理 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 计算中国万维网的“形状” 网络信息“形状”是它的基本特点之一，也是每隔几年就有人发表新的研究成果的。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 计算Web结构的一个例子 2006年1-2月间执行了一次比较彻底的搜集，得到8.3亿网页（在同样的时间段，在百度的协助下，CNNIC报告的是9.47亿） 搜集能力的体现 基于该网页集合，构造了一个巨大的有向图（ 8.3亿节点），对应超过400GB数据量 链接提取能力的体现 在16节点的机群上运行一个结构发现算法，得到了相应的成分数据 变随机访问为多次顺序访问（磁盘） SCC 44.10% IN 25.50% OUT 14.60% TENDRILS 15.80% Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 算法流程 用邻接表(adjacency list )表达8.3亿节点的图，对应顺序磁盘文件 选几个肯定在SCC中的网页作为种子，例如新浪首页 宽度优先向前搜索（BFS forward）直到收敛，得到节点集合FS 还是从种子开始，宽度优先向后搜索（BFS backward）直到收敛，得到节点集合BS FS 和 BS 的交集就是 SCC FS – SCC is OUT；BS – SCC is IN 从FS and BS的并集开始做无向BFS，得WCC Total – WCC is the DISKs WCC – SCC is the TENDRILs Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 天网收藏+网页消重（聚类）?历史信息搜索 想象我们到了2050年 问题一：关于三峡大坝，自酝酿到建成，历经数年，一定有各种观点和争论，我想研究一下其中的沿革。哪里找得到有关材料？ 国图，翻旧报纸，查有关文献资料；（需要一个月吧）。 问题二：“超女现象”曾经在中国风靡一时，据说有个叫李宇春的最后脱颖而出，当时关于她有哪些报道呢？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 基于天网收藏的事件报道历史搜索引擎 索引的数据 输出 排序 用户 普通搜索 引擎 各种网页 在爬取时得到的 网页清单 按相关性 普通百姓 基于天网 收藏的 搜索引擎 文章型网页 历史网页清单 按照时间 社会科学 研究人员 与普通搜索引擎的比较 Evaluation only. Created wit