第七章 12-互联网搜索Searching the Web-3-Web characterization.pptVIP

12.互联网搜索Searching the WebWeb 特性 Web测度 Web图结构 Web有多大 ? 存在的问题 从某种意义上说，Web是无限的 动态内容, 比如日历 Soft 404，对应错误的网址返回一个页面: /anything is a valid page 静态网页包含重复内容，很大一部分是镜像 (~20-30%) 有一些服务器很少被连接 谁会关心? 最终用户 搜索引擎设计者 搜索引擎抓取策略，对召回率的影响 基于 搜集随机页面的 统计方法 Random queries 随机构造查询，提交给搜索引擎E1，从前100个结果中随机选择一个页面p，通过在页面p中选取6-8个低频词并提交给第二个搜索引擎E2，看p在不在E2中出现；同样，提交查询给E2，获得查询结果页面，看在不在E1中出现。反复进行以上操作从而得到E1与E2所包含网页数目的比例。 Random searches 从给定的搜索记录中随机选取，向搜索引擎提交，从查询结果获取随机页面。 Random IP addresses 产生随机IP地址，向它发送页面请求，收集此IP地址上的web服务器的页面。 Random walks 如果web图结构是一个强连接图的话，可以发起一个随机游走，并逐渐收敛到稳态。随机游走过程中 当前URL 为随机选取的URL。 通过 Random Queries进行URL 采样 理想策略：产生一个随机URL，看此URL是否在其他搜索引擎索引中出现 问题：随机URL很难找 通过 Random Queries进行URL 采样 随机从每个搜索引擎采样URL 每个搜索引擎采样20,000 个随机 URLs 构造词典，从词典中随机选2个以上的词构造并提交随机联合查询，结果条目控制在200个以内。 从这200个结果选取一个随机URL 测试是否出现在其他引擎中 用页面中最少出现的8个词来查，看查出的URL是否匹配 计算交集以及尺寸比率 存在的问题 随机短查询可能会使查询结果偏向长的文档，导致查询结果不是随机结果 其他的一些问题 由于是从搜索引擎E1中查询并拣选结果，结果URL依赖于E1的排名算法 E2可能不能合适地处理8个词的联合查询 搜索引擎可能会拒绝测试查询，认为是机器在查询而不是真实的查询 连接超时 Random searches 从本地日志选取随机的搜索记录 只使用小结果集的查询 在结果集中提取URL 使用比率 统计数据 好处: 由于本地日志是真实的查询记录，统计结果能够较好地反映人对查询覆盖率的感知 Random searches [Lawr98, Lawr99] 575 1050 查询，来自 NEC RI 科学家的查询日志 6 Engines in ’98, 11 in ’99 具体实现 限制查询返回结果为小于600 提交查询后计算每个搜索引擎返回的URL数 对每个查询计算搜索引擎大小比率以及重叠 把上面每个查询计算值的平均值作为 搜索引擎索引大小比率 以及覆盖重叠的估值 问题 采样与日志源相关程度大 重复页面 必须有非零的结果集 Queries from Lawrence and Giles study 1. adaptive access control 2. neighborhood preservation topographic 3. hamiltonian structures 4. right linear grammar 5. pulse width modulation neural 6. unbalanced prior probabilities 7. ranked assignment method 8. internet explorer favourites importing 9. karvel thornber 10. zili liu 11. softmax activation function 12. bose multidimensional system theory 13. gamma mlp 14. dvi2pdf 15. john oliensis 16. rieke spikes exploring neural 17. video watermarking 18. counterpropagation network 19. fat shattering dimension 20. abelson amorphous computing Web大小的估算 [Lawr98, Bhar98a] Capture – Recapture 方法 假设搜索引擎覆盖Web 随机 独立 的子集 Random IP addresses