Hive编程技术与应用第10章.pptxVIP

智慧交通概述Hive编程技术与应用

目录10.1应用场景10.2设计与实现10.3本章总结

第10章Hive综合案例（三）本案例是对单支股票从发行到2010年2月8日期间每日交易的处理，形成K线分析。重点在于前期数据规整处理与导入导出。有数据仓库方案的设计，涉及Hive优化操作，关系型数据库的导入，使用数据可视化方式的直观展示，并对数据分析起到至关重要作用。

第10章Hive综合案例（三）10.1应用场景本案例实验原理：通过语句建立外部表；通过HiveQL语句将数据导入Hive；通过逻辑处理建立分区；理解分区表在Hadoop文件系统中的存在方式；对数据进行分类存放来提高查询效率和准确性。在建立分区表时注意Hive数据倾斜和Hive执行性能的优化，从而实现Hive语句调用MapReduce的运行。将处理后的数据导入MySQL，再次进行逻辑处理，通过Web图表形式进行展示，最终实现实验目的。

第10章Hive综合案例（三）10.2设计与实现10.2.1数据处理1．创建原始外部表hiveCREATEEXTERNALTABLEIFNOTEXISTSstock_original(exchangedstring,stock_symbolstring,ymdstring,stock_price_openfloat,stock_price_highfloat,stock_price_lowfloat,stock_price_closefloat,stock_volumeint,stock_price_adj_closefloat)ROWFORMATDELIMITEDFIELDSTERMINATEDBY,linesterminatedby\nstoredastextfileLOCATION/hiveclass/hivedata/stock_original;

第10章Hive综合案例（三）2．导入数据#hadoopfs-put/soft/data/stock_data/*/hiveclass/hivedata/stock_original文件上传后如图10-1所示。图10-1导入的数据文件3．原始表结构添加主键使用自定义UDF给数据添加自增属性值，Java源码如下所示：packagecom.hive.jdbc;importorg.apache.hadoop.hive.ql.exec.Description;importorg.apache.hadoop.hive.ql.exec.UDF;importorg.apache.hadoop.hive.ql.udf.UDFType;importorg.apache.hadoop.io.LongWritable;

第10章Hive综合案例（三）/***UDFRowSequence.*/@Description(name=row_sequence,value=_FUNC_()-Returnsageneratedrowsequencenumberstartingfrom1)@UDFType(deterministic=false)publicclassRowSequenceextendsUDF{privateLongWritableresult=newLongWritable();publicRowSequence(){result.set(0);}publicLongWritableevaluate(){result.set(result.get()+1);returnresult;}}

第10章Hive综合案例（三）打包Java源文件，创建自定义函数row_sequence，并创建stock_original_used表，具体实现如下所示：hiveaddjar/soft/tool/RowSequence.jar;hivecreatetemporaryfunctionrow_sequenceascom.hive.jdbc.RowSequence;hiveCREATETABLEIFNOTEXISTSstock_original_used(stock_idint,exchangedstring,stock_symbolstring,ymdstring,stock_price_openfloat,stock_price_highfloat,stock_price_low