Hive update实现方案V1.0（优选.) .doc

.. .. .. .. doc.. .. PAGE / NUMPAGES doc.. .. .. .. doc.. .. Hive update实现方案 问题 由于hive数仓的特性，不容许数据进行修改，造成hive中的数据更新活着删除很困难的问题，自hive 0.11版本之后，hive也尝试在测试环境允许进行update和delte操作，但这些操作还不成熟，不敢在生产环境放心使用，其中也有一样不足。所以就需要找一种可靠的方案实现hive的数据更新或者删除。 方案 创建数据表 创建两张数据结构一模一样的hive数据表TEST、TEST_TEMP，其中TEST表的存储格式为“ORCFILE”（性能高），TEST_TEMP表的存储格式为“TEXTFILE”（方便数据加载）。 ID NAME AGE 主键 姓名 年龄 create table TEST_TEMP ( id string, name string, age string ) comment 临时表 partitioned by (y string,m string,d string) row format delimited fields terminated by , stored as textfile create table TEST ( id string, name string, age string ) comment 最终表 row format delimited fields terminated by , stored as orcfile 初始化 通过hive数据load的方式先把数据加载到TEST_TEMP表中（此处也可以通过sqoop进行数据抽取，不再详述）。 load data local inpath /home/hadoop/a.txt overwrite into table TEST_TEMP 通过hive insert overwrite的方式把临时表的数据加载到最终表TEST中。 insert into table TEST select id,name,age from TEST_TEMP 日常 通过hive数据load的方式先把数据加载到TEST_TEM表中（此处也可以通过sqoop进行数据抽取，不再详述）。 load data local inpath /home/hadoop/b.txt overwrite into table TEST_TEMP 通过数据比对方式，找出非更新和非增量的数据，人后把这部分数据覆盖到TEST表中，即保证TEST中的数据和TEST_TEMP中的没有重复(前提是表中必须有主键)。 INSERT OVERWRITE TABLE TEST SELECT id,name,age FROM TEST a LEFT JOIN TEST_TEMP b on a.id=b.id WHERE b.id is null; 注：上述语句其实就是not in的逻辑，如果日常数据上包含增、删、改标识，则只需在关联时在TEST_TEMP表上加条件判断即可。 经过第二步的数据比对重复处理之后，则可以直接把TEST_TEMP中的数据追加（append）到TEST表。 insert into table TEST select id,name,age from TEST_TEMP; ****************增、改实现**************** 注：实现比对出增、改标识 SELECT a.id, a.name, a.age,