java操作大数据平台的hadoop,hbase,hive.docx

Java操作hadoop的demo作者：黄金振更新日期：2015-9-23Java 操作hadoop控制台报错是正常，因为hadoop的编译问题，但是不影响使用这是正常情况：Java 操作hbase Hbase 的使用关联了zookeeper， 需要配置好对应的 win7的 hosts文件（xp, linux 也要对应的 配置好）修改 win7host文件：/article/5d6edee209e7eb99ebdeec6a.html由于hbase 0.98 的包总是出现socketNotfound的等奇怪bug，升级使用hbase1.1.2后，java轻松地成功操作hbase的api，Hbase0.96也能轻松被java操作模拟导入 put 进hbase数据的 javaHive 的java api操作基于hadoop的Hive数据仓库JavaAPI简单调用的实例，关于Hive的简介在此不赘述。hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUICLI，即Shell命令行JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式类似WebGUI是通过浏览器访问 Hive本文主要介绍的就是第二种用户接口，直接进入正题。?1、Hive 安装： 1）hive的安装请参考网上的相关文章，测试时只在hadoop一个节点上安装hive即可。 2）测试数据data文件,分隔：?1,zhangsan 2 ? ?lisi 3? ?wangwu 3）将测试数据data上传到linux目录下，我放置在：/home/hadoop01/data??2、在使用 JDBC 开发 Hive 程序时,? 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:?在hive的Linux的控制台上先?hive?--service?hiveserver?/dev/null?2/dev/null??项目工程要在对应的目录，放好此文件ee.txt:81,张学友,25,13188888888888 72,刘凯,30,13888888888888 63,周杰伦,34,899314121 27,林俊杰,34,899314121 Hive 的操作过程比较慢，创建连接等的原因1. hadoopjar的时候要把相关的jar包上传到hdfs中（这里大概消耗5s，hive0.11一样，这个地方不太好优化）2. 在每次hive cli启动的时候，初始化HiveMetaStore时，在init时，会调用下面3个方法，创建default db，role ,admin。成功之后，应该这样的