《Hadoop开发者》第三期.pdf

Hadoop 开发者第三期 2010 年6 月20 日发布 欢迎投稿 出品 出品 出出品品 Hadoop 技术论坛 总编辑 总编辑 总总编编辑辑 易剑(一剑) 副总编辑 副总编辑 副副总总编编辑辑 Barry(beyi) 代志远(国宝) 本期执行主编 本期执行主编 本本期期执执行行主主编编 代志远(国宝) 编辑 编辑 编编辑辑 皮冰峰(若冰) 易剑(一剑) Barry(beyi) 贺湘辉(小米) Barry(beyi) 代志远(国宝) 柏传杰(飞鸿雪泥) 何忠育(spork) 秘中凯 陈炬 排版/美工/封面设计 排版/美工/封面设计 排排版版//美美工工//封封面面设设计计 代志远(国宝) 网址 网址 网网址址 投稿信箱 投稿信箱 投投稿稿信信箱箱 hadoopor@ 刊首语 刊首语 刊刊首首语语 新一期的Hadoop开发者与大家见面了。不知不觉 Hadoop开发者已经与大家携手走过半年多了，感谢各位长久以来多 Hadoop开发者的支持与鼓励。 Hadoop是大家目前最热衷的技术话题之一，继09年评出国际十 大影响力的热门技术榜首的MapReduce编程，基于MapReduce实现 的Hadoop开源框架逐渐在被大家所接纳和使用，成为了目前市场中 最热门的技术之一。 应运而生的Hadoop开发者致力于提供给大家最好的Hadoop咨 询，让大家更方便的学习Hadoop的应用，但是由于人力有限，在每 期中所能提供的文章质量难以达到最佳。需要让Hadoop开发者办的 更好，就需要大家的努力和共同的提高，集思广益，需要Hadoop爱 好者共同的参与。 希望大家多多投稿，多提意见。 Hadoop开发者编辑组 本期执行主编：国宝 2010-6-20 目录 目录 目目录录 1Hadoop中的数据库访问5 2MapReduce中多文件输出的使用13 3Zookeeper使用与分析22 4 浅析一种分类数据模型30 5Sector框架分析34 6RunonHadoop49 Hadoop 中的数据库访问 Hadoop 中的数据库访问 HHaaddoooopp 中中的的数数据据库库访访问问 作者(飞鸿雪泥) E-mail:jaguar13@ Hadoop主要用来对非结构化或半结构化（HBase）数据进行存储 和分析，而结构化的数据则一般使用数据库来进行存储和访问。本文 的主要内容则是讲述如何将Hadoop与现有的数据库结合起来，在 Hadoop应用程序中访问数据库中的文件。 一.DBInputFormat 一.DBInputFormat 一一..DDBBIInnppuuttFFoorrmmaatt DBInputFormat是Hadoop从0.19.0开始支持的一种输入格式，包 含在包org.apache.hadoop.mapred.lib.db中，主要用来与现有的数据库系 统进行交互，包括MySQL、PostgreSQL、Oracle等几个数据库系统。 DBInputFormat在Hadoop应用程序中通过数据库供应商提供的JDBC 接口来与数据库进行交互，并且可以使用标准的SQL来读取数据库中 的记录。在使用DBInputFormat之前，必