信息检索基础web检索-amazonwebservices.pdfVIP

《互联网数据挖掘》本科生课程 信息检索基础（二）： Web检索 万小军 北京大学语言计算与互联网挖掘组 /lcwm 2017年9月26日 Web检索概述 2 Web搜索≠文档检索 Web搜索= 文档检索+针对Web搜索的新技术 3 4 5 Web搜索的挑战  Web页面数量大、分布广泛  Web页面更新快  Web页面半结构化  Web页面之间具有链接结构  Web页面质量参差不齐  广告、噪音、虚假信息  Web内容多样化  文本、图像、视频等  … 6 Web搜索引擎架构 谷歌数据中心 Web页面采集 9 Web页面采集  Web Crawler, spider  目标  快速有效地收集尽可能多的有用Web页面，包括页面 之间的链接结构 10 Web爬虫需要具备的特性  健壮(robustness)  质量(quality)  避免spider traps  倾向于采集有用的网页  友好(politeness)  新颖(freshness)  遵守Web Server的采集协议  获取网页的最新版本  分布式(distributed)  可扩充(Extensible)  多台机器分布式采集  能够处理新数据类型、新的采集协  可扩展(scalable) 议等  爬虫架构方便扩展  性能与效率  有效利用系统资源 11 Robots协议举例 12 Web页面采集流程 13 Web页面爬取策略  深度优先  广度优先  实际应用中以广度优先为主，深度优先为辅 14 开源爬虫工具 15 难点  暗网的采集  只有向数据库提交查询才形成的Web页面  Web2.0内容  脚本语言等生成的动态内容  多媒体内容  Flash视频等  … 16 Web页面排序 17 Web页面排序的重要性  对页面排序比仅返回相关页面更重要  对于一个查询通常会返回成千上万的相关页面  用户不可能浏览所有相关页面 18 Web页面的权威性/重要性  与查询相似度最大的网页并不一定是最好的结果  E.g. 查询：北京大学 DOC1 ：北京大学主页；DO