4_课程四：海量数据处理-Hive数据仓库要点.pptVIP

Hive 数据仓库 数据系统的进化-一代 数据系统的进化-二代 数据系统的进化-三代 暴风指数 暴风指数 暴风指数 Data Warehousing at Facebook 使用UDF add jar /tmp/helloUDF.jar; create temporary function helloworld as com.hrj.hive.udf.HelloUDF; select helloworld(t.col1) from t limit 10; drop temporary function helloworld; 创建 LZO 压缩表 CREATE EXTERNAL TABLE foo ( columnA string, columnB string ) PARTITIONED BY (date string) ROW FORMAT DELIMITED FIELDS TERMINATED BY \t STORED AS INPUTFORMAT com.hadoop.mapred.DeprecatedLzoTextInputFormat OUTPUTFORMAT org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat LOCATION /data/dw/uid/; Hive Lzo 文件加载流程 压缩 lzop uid.txt 上传 hadoop fs -put uid.txt.lzo /data/dw/uid/ 创建索引 hadoop jar /path/to/your/hadoop-lzo.jar pression.lzo.DistributedLzoIndexer /data/dw/uid/uid.txt.lzo 生成 1000w ids hadoop jar contrib/streaming/hadoop-streaming-1.0.3.jar -mapper seq 100000 -numReduceTasks 0 -input /user/hadoop/PiEstimator_TMP_3_141592654/in/ -output /opt/ids/ 生成r.pl代码 #! /usr/bin/perl -X $i=0; while($i=10000){ $i++; print ` /dev/urandom tr -dc _A-Z-a-z-0-9 | head -c10`.\n\r; } hadoop jar contrib/streaming/hadoop-streaming-1.0.3.jar -mapper cat -reducer seq 10000 -numReduceTasks 10 -input /data/ -output /data/test3/ 1.seq 10 text hadoop fs -put test /data/text hadoop jar contrib/streaming/hadoop-streaming-1.0.3.jar -mapper cat -reducer seq 10000 -numReduceTasks 10 -input /data/text -output /data/test3/ CREATE EXTERNAL TABLE test3 (text string) LOCATION /data/test3/ 优化策略 使用 Partition 减少扫描数量 使用Map端Join 配置Reduce数量 xml,json 提取 适用脚本提取,而非使用函数 使用 INSERT INTO LOCAL DIRECTORY ‘/home/me/pv_age_sum.dir’ ,而非适用 HiveServer 。 使用 LZO 压缩存储数据 适用外部表,而非内部表 press.output = false,true 适用队列管理任务执行 生成100亿车牌号 hadoop jar hadoop-examples-1.0.3.jar pi 100 10000 生成 100个文件 hadoop jar contrib/streaming/hadoop-streaming-1.0.3.jar -numReduceTasks 0 -file rand.pl -mapper rand.pl -input /user/root/PiEstimator_TMP_3_141592654/in -output /opt/chepai/ Hive 高可用措施 健全监控体系 使用负载均