sqoop与hive的使用.pptVIP

sqoop的使用 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 :MySQL ,Oracle ,Postgres等,Sqoop 支持任何一款支持 JDBC 规范的数据库）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop的使用 sqoop import --connect jdbc:oracle:thin:@172.16.2.30:1522:orcl --username TEST --password TEST --table uniorder_order_info --columns ORDER_NO,ORDER_STATUS,CHANNEL_NO,SECOND_CHANNEL_NO,THIRD_CHANNEL_NO,SITE_CODE,SHOPPING_TYPE,PAY_TYPE,TIME_STAMP,PAY_AMT,PAY_CURRENY,EXCHANGE_RMB,POINT_AMT,CASH_AMT,CASH_PAY_CURRENY,CASH_EXCHANGE_RMB,COUPON_AMT,COUPON_PAY_UNIT,RATE,PROMO_TYPE,PROMO_ID,CONTACT_NAME,CONTACT_MOBILE,USER_FFP_NO,CONTACT_EMAIL,REQUEST_IP,REMARK,IS_VALID,CRT_ID,CRT_DT,OPT_ID,OPT_DT,SUB_PROMO_TYPE,CANCEL_DATE,VIP_CODE,CALL_CONFIRM_STATUS,TRAVEL_ORDER_NO --hive-import --hive-table UNIORDER_ORDER_INFO --hive-partition-key ds --hive-partition-value --m 8 --fields-terminated-by \t --split-by ORDER_NO SHXSqoop 苏研院开发的sqoop导入程序，通过修改配置文件，实现数据的导入。 hive的使用 分桶抽样 对桶中的数据进行采样： select * from bucketed_user tablesample(bucket 1 out of 4 on name); 桶的个数从 1 开始计数，前面的查询从 4 个桶中的第一个桶获取数据。其实就是四分之一。 hive自定义函数 1、UDF 操作单个数据行，产生单个数据行输出。 2、UDAF(用户定义聚合函数) 操作多个数据行，产生一个数据行输出。（如count、max等类型函数） UDF使用过程 第一步：继承UDF或者UDAF，实现特定的方法。 第二步：将写好的类打包为jar。如hive.jar. 第三步：进入到Hive环境中，利用add jar add jar hdfs://namenode:9000/user/hadoop/hive.jar.注册该jar文件 第四步：为该类起一个别名，create temporary function test as com.travelsky.hive;这里注意UDF只是为这个Hive会话临时定义的。 第五步：在select中使用test(); UDAF的工作原理 init()：主要是负责初始化计算函数并且重设其内部状态，一般就是重设其内部字段。 iterate()：每一次对一个新值进行聚集计算时候都会调用该方法，计算函数会根据聚集计算结果更新内部状态。当输入值合法或者正确计算了，则就返回true。 terminatePartial()：Hive需要部分聚集结果的时候会调用该方法，必须要返回一个封装了聚集计算当前状态的对象。 merge()：Hive进行合并一个部分聚集和另一个部分聚集的时候会调用该方法。 terminate()：Hive最终聚集结果的时候就会调用该方法。计算函数需要把状态作为一个值返回给用户。 UDAF工作流程 hive嵌套python脚本 进行一些复杂的数据分析 操作单个数据行，输出多个数据列 hive+python使用流程 编写python脚本 在hive环境中，注册python脚本文件 add FILE python_test.py; 执行select语句 select transform ... using python python_test.py... hive+python #创建weekday_mapper.py文件 import sys import d