使用scrapy,redis,mongodb实现的一个分布式网络爬虫.pdf

自己 豆瓣 读书 电影 音乐 同城 小组 阅读 豆瓣FM 更多 提醒 2 豆邮(26) 小白狼的帐号 豆藤 　　　　　　　 我的音乐 音乐人 排行榜 分类浏览 豆瓣电台 我的小组 发现小组 发现话题 ⼩组、话题 使用scrapy,redis,mongodb实现的一个分布式网络爬虫 来自: 远航 2013-04- 17 22:25:56 Python编程 使用scrapy ,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集 32803 人聚集在这个小组 群,分布式使用redis实现, 爬虫状态显示使用graphite实现。 Python和其他动态编程语言的使用者 和感兴趣的人请进。 Python是豆瓣的 这是项目的地址:https :///gnemoug/distribute_crawler.git 主要开发语言。欢迎在这儿讨论... 这个工程是我对垂直搜索引擎中分布式网络爬虫的探索实现，它包含一个针 加入小组 对/ 网站的spider ， 将其网站的书名，作者，书籍封面图片，书籍概 要，原始网址链接，书籍下载信息和书籍爬取到本地： 最新话题 ( 更多 ) 分布式使用redis实现，redis 中存储了工程的request ，stats信息，能够对各个机器上的 初学求助····求方法····求建议····感... (吃草莓的HO~HO) 爬虫实现集中管理，这样可以 解决爬虫的性能瓶颈，利用redis 的高效和易于扩展能够轻松 实现高效率下载：当redis存储或者访问速度遇到瓶颈时，可以 通过增大redis集群数和爬虫 图像处理，数学基础知识不够啊，大牛如何办啊 (Valley. He) 集群数量改善。 底层存储实现了两种方式： 《大规模web服务开发技术》 (like_ python) 将书名，作者，书籍封面图片文件系统路径，书籍概要，原始网址链接，书籍下载 豆瓣在python和ruby之间为何选择前者？ (老董) 信息，书籍文件系统路径保存到mongodb 中，此时mongodb使用单个服务器,对图片采用图 片的url的hash值作为文件名进行存储，同时可以定制生成各种大小尺寸的缩略 图，对文件 无节操招聘贴...招到人我就有妹子了 (害人不浅的蛇) 动态获得文件名，将其下载到本地，存储