javaHadoopMapReduce教程.docVIP

原文地址 /165162897/blog/1257776641 Hadoop Map/Reduce教程[一] 编辑 | 删除 | 权限设置 | 更多▼ 更多▲ 设置置顶 推荐日志 转为私密日志 开心延年 ?? 发表于2009年11月02日 00:15 阅读(10) 评论(1) 分类： 搜索与存储 权限: 公开 今天浏览了下hadoop的 map/reduce文档，初步感觉这东西太牛逼了，听我在这里给你吹吹。 你可以这样理解，假设你有很多台烂机器（假设1000台） 1.利用hadoop他会帮你组装成一台超级计算机（集群），你的这台计算机是超多核的（很多个CPU），一个超级大的硬盘，而且容错和写入速度都很快。 2.如果你的计算任务可以拆分，那么通过map/Reduce,他可以统一指挥你的那一帮烂机器，让一堆机器帮你一起干活（并行计算），谁干什么，负责什么，他来管理，通常处理个几T的数据，只要你有机器那就小CASE。 3.hadoop要分析的数据通常都是巨大的(T级)，网络I/O开销不可忽视，但分析程序通常不会很大，所以他传递的是计算方法（程序），而不是数据文件，所以每次计算在物理上都是在相近的节点上进行（同一台机器或同局域网），大大降低的IO消耗，而且计算程序如果要经常使用的话也是可以做缓存的。 4.hadoop是一个分布式的文件系统，他就像一个管家，管理你数据的存放，在