基于hadoop生态圈的数据仓库实践——OLAP与数据可视化(三).doc

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（三） 三、Impala OLAP实例 本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询，以及实际遇到的问题及解决方案。为了处理SCD和行级更新，我们前面的ETL使用了Hive ORCFile格式的表，可惜到目前为止，Impala还不支持ORCFile。用Impala查询ORCFile表时，错误信息如下图所示。 这是一个棘手的问题。如果我们再建一套和dw库中表结构一样的表，但使用Impala能够识别的文件类型，如Parquet，又会引入两个新的问题：一是CDH 5.7.0的Hive版本是1.1.0，有些数据类型不支持，如date。另一个更大的问题是增量装载数据问题。dw库的维度表和事实表都有update操作，可Impala只支持数据装载，不支持update和delete等DML操作。如果每天都做insert overwrite覆盖装载全部数据，对于大数据量来说很不现实。 尽管Impala不支持update语句，但通过使用HBase作为底层存储可是达到同样的效果。相同键值的数据被插入时，会自动覆盖原有的数据行。这样只要在每天定期ETL时，记录当天产生变化（包括修改和新增）的记录，只将这些记录插入到Impala表中，就可以实现增量数据装载。这个方案并不完美，毕竟