HADOOP 二次开发代码说明.docx

HADOOP 二次开发代码说明 Eclipse 建立maven工程： MaoReduce读写HDFS的Demo 数据准备： 准备两个测试文件 1.txt 2.txt 内容格式：按照空格分割 放入hdfs 的/data/input 目录 命令： hadoop dfs -put 本地目录 hdfs目录 程序编写： 运行命令 ： Hadoop jar *.jar /输入路径 /输出路径 输出结果 ： 查看命令 hadoop dfs -text /output/* MaoReduce读写HBase的Demo 数据准备： 准备测试文件 内容格式：rowkey:列族:列名:值 例如：r1:cf:c1:value1 放入hdfs 的/data/inputhbase 目录 命令： hadoop dfs -put 本地目录 hdfs目录 程序编写： 运行命令： Hadoop jar *.jar /输入路径 表名 输出结果 ： Hbase shell 连接hbase Scan ‘mytable’ 查询表名 HIVE 的使用 连接hive 切换用户su - hdfs 连接 ： hive Hive ?命令行常用命令 ? 加载数据到普通表 load data local inpath '/home/IVR_CSR_MENU_MAP.txt' into table ivr_csr_menu_map; 加载数据带分区的表 load data local inpath '/home/lftest/lf1.txt' overwrite into table lf_test partition(dt; 加overwrite会覆盖原数据（已有的话）若不加，又有原数据，则会生成一个copy文件 load data local inpath? '/home/lftest/lf1.txt' overwrite into table lf_test partition(dt; ? Hive 命令行里面可以使用dfs来执行一些hadoop命令 查看目录 dfs -ls /apps/hive/warehouse/lf_test; 查看文件内容 hive> dfs -text /apps/hive/warehouse/lf_test/dtlf.txt; ? 删除文件 dfs -rm /apps/hive/warehouse/lf_test/dtlf1_copy_2.txt; 删除目录 dfs -rm -r? /apps/hive/warehouse/lf_test; ? 显示表分区 show partitions lf_test; 添加分区 alter table lf_test add partition(dt; 删除分区 alter table lf_test drop partition(dt; 显示详细的表结构：（包括字段、分区等信息） desc? formatted? ivr_calldata; 显示建表语句 show create table sas_ambs; 删除表 drop table lf_test; 重命名表 ALTER TABLE employee RENAME TO emp; 创建表（内部表）： hive> create table lf_test(id int,name string,age int,tel string) ? ? ? > partitioned by (dt string) ? ? ? > ROW FORMAT DELIMITED ? ? ? > FIELDS TERMINATED BY '|' ? ? ? > STORED AS TEXTFILE; 外部表 create EXTERNAL table IVR_CSR_MENU_MAP( CSR_REASON_ID string, CSR_REASON_NAME string, IVR_NODE_ID string, IVR_NODE_NAME string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE location '/spdbccc/data/dest/IVR/IVR_CSR_MENU_MAP/'; ??指定数据文件所在路径，此时不会在warehouse下生成文件夹