解说搜索引擎的信息覆盖率.pptVIP

搜索引擎的信息覆盖率 评测模型研究 孟涛 指导教师：李晓明教授 2002年6月 * 引言 互联网信息资源数量的指数级增长、网络信息博物馆对网页资源的要求 需要一套有效的办法评测搜集系统的搜集性能，本文的工作由此展开 * * * 网页搜集的不完全性 WWW有向图结构 结构本身所致（入度为0或不存在路径） 优先排序、搜集系统资源所限导致 不断出现的新网页无法搜集 * 三类重要的信息覆盖率 数量覆盖率 质量覆盖率 可视信息覆盖率 * 模型建立 覆盖率=搜集网页数/实际WWW网页数 覆盖率=样本覆盖数/样本容量 模型图示 * 数量覆盖率：随机IP法 * 模型修正与误差分析 结果：5.72% 缺点：无法区别该IP地址的网站大小，存在大量的无效IP地址 改进方法：利用链接关系作链接扩展，减小上述的不利影响 修正结果：23.5% * 数量覆盖率：广度优先法 * 试验结果与误差分析 局部角度，利用网页间链接关系 结果：选取5组样本求覆盖率均值41.6% 误差修正：大约10%的网页无法通过链接到达，对结果乘以90%处理得37.4% * 误差修正原理 * 网页重要性评价因素 网页URL属性：域名长短，目录深度 网页作为有向图的节点：链接表示着认可度的传递，通常入度越大越重要 网页本身的内容：与查询用户宽主题查询词的匹配程度 * 两类重要的权值算法之一：PageRank 学术论文引用统计原理在WWW上的扩展 PR(A)= * 两类重要的权值算法之二：HITS（Hyperlink-Induced Topic Search ） 权威型权值 目录型权值 A(p)= H(p)= * 质量覆盖率：广度优先法 PageRank算法需要与WWW相近的链接结构，采用广度优先遍历取样初始样本 对得到的数十万网页用PageRank算法计算权值，得到前面约5%的网页作为重要网页样本 选取5组样本，计算均值得到结果为47% 对其中的两组样本，改变重要性标准（百分比），分析覆盖率的变化情况（5%平缓） * 图示 * 质量覆盖率：主题查询法 递交若干查询词给搜索引擎，返回的结果集，进行链接扩展（目的） 用HITS算法分别计算目录型权值和权威型权值在前列的网页集合作为样本 八组查询词得样本均值：42.9%和53% * 模型修正与误差分析 缺点：对所有的链接一视同仁 改进方法:考察导向词与查询词的匹配度，实现扩展HITS算法 修正结果：46.2%和50.3% * 两类质量覆盖率评测方法评价 两种评测方法的结果很好的吻合 它们分别从客观与主观的角度着手 证明此评测模型是有效的 得到WebInfoMall有效信息覆盖率数据 * 我的主要工作（1） 实现通过HTTP1.0协议抓取网页 实现从网页中提取所有的URL链接 实现随机IP产生器，IP扫描器 实现反向域名两级解析（DNS、DB） * 我的主要工作（2） 实现PageRank算法 实现HITS算法 旨在改进天网系统的网页权值排序问题 * 我的主要工作（3） 实现多播程序对Webinfomall服务器群验证URL是否已被覆盖 实现“多生产者——多消费者”的多进程运行模型进行巨量Web信息处理 * 总结 提出了质量覆盖率概念，建立了一个有效的网络信息质量覆盖率评测模型 依据该模型，对“天网”搜索引擎及“燕穹”Web信息博物馆的网页数据进行了有效评估 所做的网页权值计算工作为天网的进一步改进打下重要基础 * 谢谢！ *