基于MapReduce的视频爬虫系统研究-中国云计算.PDFVIP

第 卷 第 期 （ 学版） ４３ ５ 华中科技大学学报 自然科 Ｖｏｌ．４３Ｎｏ．５ 　 ２０ 年 月 Ｊ．Ｈ （ ） Ｍａ ２０１ １５ ５ ｕａｚｈｏｎ Ｕｎｉｖ．ｏｆＳｃｉ．＆ Ｔｅｃｈ． ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ ５ 　 　 　 　 　 　 　 ｇ ｙ 　 ： ／ ｈｕ ＤＯＩ １０．１３２４５ ． ｓｔ．１５０５２５ ｊ 基于Ｍａ Ｒｅ 的视频爬虫系统研究 ｐ ｄｕｃｅ 孔 涛１ 曹丙章２ 邱荷花２ 　 　 　 （ 中国船舶重工集团公司第 研 ， ； １ ７０９ 究所 湖北武汉 ４３００７４ ， ） ２华中科技大学计算机科学与技术学院 湖北武汉 ０７４ ４３０ 、 、 、 ， 摘要 针对当前网络中视频媒体数量大 更新快 内容多 下载难 以及基于单机的视频网络爬虫系统中的处 　 、 ， ， 理速度慢 并发度低和下载速度慢等问题 提出了基于 Ｈａｄｏｏ 框架的视频爬虫系统 为视频爬取提供了高并 ｐ 发度的处理和爬取速度 通过 、 、 ， ． Ｍ 计算模型实现网页抓取 分析 去重及下载等计算任务 分 ａＲｅｄｕｃｅ Ｈａｄｏｏ ｐ ｐ 布 （ ） ， ， 式文件系统 ＨＤＦＳ 存储各阶段计算任务的计算结果 运用多处备份机制 使得在某个结点退出时转移任 ， 务集 不影响整个系统的稳定性和有效性 实验结果表明完全分布式基于 的视频爬虫系统无论在单 ． Ｈａｄ