网页搜索爬虫时效性系统.pdf

网页搜索爬虫时效性系统 叶顺平 分享时间：2013/12/30 大纲 一．爬虫时效性系统的目标 二．时效性系统的整体架构 三．时效性系统主要模块介绍 3.1 Rss/sitemap 系统介绍 3.2 泛爬系统与时效性的关系 3.3 种子调度系统 3.4 种子的挖掘 3.5 种子的更新机制 3.6 抓取系统与javascript解析 3.7 外部合作数据的引入 四、爬虫时效性数据的后续处理 五、有待改进的问题 网页爬虫的几个主要目标 覆盖率 高 死链率 时效性 低 好 爬虫时效性系统的目标 新网页收录全 新网页收录快 时效性系统的整体架构 时效性问题的基本解决方案 •解决系统：网页大爬虫 天级以上 •链接规模: 万亿级别 •Scan周期: 一天左右一轮 •抓取规模: 几亿到几十亿/天 •解决系统：时效性系统 天级以内 •Hub规模: 10-100万级别 •Scan周期：几秒钟到天级 •抓取规模：百万到千万/天 时效性系统主要模块介绍 Rss/sitemap 系统介绍 泛爬系统与时效性的关系 种子调度系统 种子的挖掘 种子的更新机制 抓取系统与javascript解析 外部合作数据的引入 Rss/sitemap 系统介绍 rss • /wiki/RSS • /rss-specification • 豆瓣最新影评rss • /feed/review/movie Rss Cont • <item> • <title>xxx</title> • <link>/review/6456744/</link> • <description>xxx</description> • <content:encoded>xxx</content:encoded> • <dc:creator>半辈子</dc:creator> • <pubDate>Wed, 11 Dec 2013 01:27:21 GMT</pubDate> • <guid isPermaLink="true">xxx</guid> • </item> Sitemap protocols • w3c: • / • Google: • /webmasters/answer/156184 • /webmasters/answer/71453 • Baidu: • /search/sitemap_help.html Where is sitemaprobots.txt • Robots.txt of douban • /robots.txt • User-agent: * • Disallow: /subject_search • Disallow: /amazon_search • … • Sitemap: /sitemap_index.xml • Sitemap: /sitemap_updated_index.xml • …… Sitemap Cont • /news_sitemap.xml • <urlset xmlns="/schemas/sitemap/0.9"> • <url