常见的Hadoop十大技术误解.docxVIP

客户送我们的礼物：常见的Hadoop十大技术误区Etu 首席顾问 James Chen 陈昭宇?误区一：Hadoop只能用来进行“批次”数据处理答案：否。?在许多情况下，‘Hadoop’这个单词的意含，不只是hadoop本身 (HDFS＋Map/Reduce)，其实是泛指一个更大范畴的 Hadoop生态系统(HDFS＋Map/Reduce＋HBase＋Pig＋Hive＋Sqoop＋Mahout＋ZooKeeper…)。?没错，Hadoop Core是为了批处理海量数据而设计的，但是在实时运算需求上，新一代的HBase引入Co-processor的架构，加上本来就具有的Internet-scale同时大量查询响应能力，已经在许多实际案例中，达到millisecond级别的实时性。、快速查询的领域，?而在 2012 年 Q4 新加入 Hadoop Ecosystem 的开源项目 Impala，让熟悉传统SQL语言的用户，可以实时地查询存放在 HBase 或 HDFS 上的海量数据。?因为现在很少有人只用 Hadoop Core 来进行应用实作，应用 Hadoop (Ecosystem) 的实时性，只要是应用场景适合，其实已经不再是问题了。?误区二：Hadoop等于HDFS (一种分布式文件系统)答案为否。?如误解一说明所提，狭义的 Hadoop — Hadoop Core，除了分布式文件系统 HDFS，还包含了平行运算架构 Map/Reduce，更不要说广义的 Hadoop — Hadoop Ecosystem，更是各开源项目分工明确，各有所长。?当然，我们不能排除有人真的只需要用到 HDFS，但那应该是在每个档案大小上 GB 级别，且总档案数量不超过百万级别，同时数据存取是循序式的读写应用 (Sequential Read/Write )，方才适用。否则，没享受到分布式文件系统的好处，反而可能让应用施展不开。?误解三：Hadoop非常难以安装，管理与维护答案为非。?这可能又是一个以过去的经验，未体验进步所造成的误解。?历经 7 年的发展，除了官方开源的 Apache Hadoop 之外，这世界上已经有了不少 Hadoop 商业发行版 (Hadoop Distribution; Hadoop Distro)，它们除了搜罗 Hadoop Ecosystem 诸多软件项目，也会加上方便使用者安装部署、管理、维护的功能。?Etu Appliance 则很特别，它目前并不是创造一个属于自己的 Hadoop 发行版，而是直接拿标准的 Apache Hadoop Ecosystem，确保软件与硬件的兼容性，再加上自己研发的 Etu OS、一键部署、管理功能、安全机制、全系统 HA 等功能，做出高性价比的软硬件结合的产品。“简单难以超越”，就是它的使命。?误解四：Hadoop可以取代数据库或数据仓储答案为非。?传统数据库或数据仓储在数据存放到达一定量时 (可能还不用到 TB)，就会面临运算时间过久，查询响应速度缓慢的问题。若要进行(向上)扩充，往往也只是权宜之计，治标不治本，另外还有扩充的成本需要考虑。?这时使用 Hadoop Ecosystem 来做辅助架构，而非取代，是比较合理的作法。辅助架构大体上分两个步骤：?1.????? 第一步是预处理：?数据先引入 Hadoop 来处理，不想直接写 Map/Reduce 的，可以采用更高阶的 Pig 或 Hive 来实作处理逻辑。?2.????? 第二步是应用处理：?在预处理完后，数据量可以有不同程度的压缩。接下来的应用途径有二，视情境采用。?2.a 将预处理结果存回既有的数据库或数据仓储，所以原有存取数据库或数据仓储的应用程序可以不用改变。2.b 将预处理结果，留在 Hive 或存入 HBase 中，提供给对应的客户端程序去存取。好处是，可以享受到 Hive 或 HBase 这两个“分布式计算架构”」数据管理的好处，在数据的可用度与横向扩充性上，得到架构的保障。需要额外做的工作，则是要写新的客户端应用程序。?以上两个步骤的应用辅助架构，相较之下，都能提高“只用数据库或数据仓储”的效能，成本也可有效降低。?误解五：Hadoop只能用来处理“非结构化”数据答案为非。?强结构的CSV档案，半结构的JSON、XML档案，非结构的图形、影音文件，都可以被引入 Hadoop 来处理，只要对应的处理程序是存在 Hadoop 内，或可被 Hadoop 整合的。?所以，您可以说“Hadoop可以用来处理‘非结构化‘数据”，也可以说“Hadoop可以用来处理‘多结构化‘数据”，但请不要再说“Hadoop只能用来处理‘非结构化‘数据”了。?谢谢。?误解六：开发Hadoop的应用程序非常困难答案为非。由于架构模式的不熟悉