数据应用层存储与查询优化分析.pdfVIP

《028_数据应用层的数据一般是放在哪里的?》｜end▁of▁

sentence｜

insert

overwrite

select，语法，天生就是给你做

ETL

用的｜end▁of▁sentence｜

_____

appdailyuserbehaviourbasicmetrics,uv、pv

之类的一些东西｜end▁of▁sentence｜

你的

hive

里的

app

层的表数据，没有办法直接给我们的用户进行查看和分析，直接

查

hive

里的数据，mapreduce、spark

sql

是很慢的，因为它们是设计面向批处理的，并

不是面向的查询的。｜end▁of▁sentence｜

hive

里的

app报表里的数据就几百条,但是你通过

spark

sql

去查也需要几十秒才能查询出

来也有可能的,presto、impala

倒是可以几秒钟时间内,就从

hive

里查询一些数据出来,但

是不太稳定｜end▁of▁sentence｜

即便是应用层的报表数据，量也非常大，每天可能新增几万条甚至几十万条，在

MySQL

中对

大量数据进行分析并不太可靠，HBase

‑Kylin、ES、Redis｜end▁of▁sentence｜

《028_数据应用层的数据一般是放在哪里的？》

insert