Hive@Hadoop开发者.pdfVIP

hadoop技术论坛 Hive应用介绍 Hive应用介绍 HHiivvee应应用用介介绍绍 作者：李均 Email：fiberlijun@ 1. Hive简介 1. Hive简介 11.. HHiivvee简简介介 一场关于进行大规模数据分析的最佳方法的辩论正在数据系统界进行着。企业阵容的保 守派青睐于关系数据库和SQL语言，然而互联网阵容则集中于MapReduce的开发模式（流 行于Google，Hadoop实现开源克隆）。 业界无人小视这场争论，最保险的预测是“未来将很快发生改变”。SQL和MapReduce 之间的界限已经变得模糊。Greenplum和AsterData两家初创的数据库公司分别推出了集 成了SQL语言引擎和MapReduce的大规模并行系统。 Facebook 的开源项目Hive 在Hadoop 之上提供了类似于SQL 的查询语言（HQL）， 使不熟悉map/reduce的用户很方便的利用SQL语言查询，汇总，分析数据。而map/reduce 开发人员可以把自己写的mapper和reducer作为插件来支持Hive 做更复杂的数据分析。 下面的章节介绍了如何安装配置Hive以及HQL语言示例。HQL支持GROUP BY，JOIN， UION，聚合等查询,最后介绍了Hive的Partition机制和应用。 图1 Hive设计框架图 2. Hive安装和配置 2. Hive安装和配置 22.. HHiivvee安安装装和和配配置置 hadoop-0.19.1集成了hive，安装配置起来比往常版本要更加傻瓜化。 配置下面两个环境变量后就可以启动hive 了： exportHADOOP=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop-0.19.1 exportHADOOP=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop-0.19.1 eexxppoorrttHHAADDOOOOPP==//uussrr//llooccaall//ddiissttrriibbuuttee--hhaaddoooopp--bboossss//hhaaddooooppeennvv//hhaaddoooopp--00..1199..11 ExportIVE_HOME=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop-0.19.1/contrib/hive ExportIVE_HOME=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop-0.19.1/contrib/hive EExxppoorrttIIVVEE__HHOOMMEE==//uussrr//llooccaall//ddiissttrriibbuuttee--hhaaddoooopp--bboossss//hhaaddooooppeennvv//hhaaddoooopp--00..1199..11//ccoonnttrriibb//hhiivvee cd $HIVE_HOME cd $HIVE_HOME ccdd$$HHIIVVEE__HHOOMMEE bin/hive bin/hive bbiinn//hhiivvee 启动类似mysql的shell，hive -f 参数直接执行某个文件里的查询语句。 目录权限配置配置： /tmp 目录配置成所有用户都有write 权限。 Table对应的目录的owner必须是hive启动用户。 创刊号 2010年1月 38 hadoop技术论坛 3. 使用举例 3. 使用举例 33.. 使使用用举举例例 3.1.支持的字段数据类型 3.1.支持的字段数据类型 33..11..支支持持的的字字段段数数据据类类型型 1) Integers (small is 2 bytes , medium is 4 bytes an