kuduimpala介绍微店数据科学团队博客.docxVIP

  • 17
  • 0
  • 约9.48千字
  • 约 13页
  • 2021-01-18 发布于天津
  • 举报
Kudu Impala 介绍 微店数据科学团队博客 Kudu+Impala 介绍概述 Kudu 和 Impala 均是 Cloudera 贡 献给 Apache 基金会的顶级项目。 Kudu 作为底层存储,在支 持高并发低延迟 kv 查询的同时,还保持良好的 Scan 性能, 该特性使得其理论上能够同时兼顾 OLTP 类和 OLAP 类查 询。 Impala 作为老牌的 SQL 解析引擎,其面对即席查询 (Ad-Hoc Query) 类请求的稳定性和速度在工业界得到过广泛 的验证, Impala 并没有自己的存储引擎,其负责解析 SQL, 并连接其底层的存储引擎。在发布之初 Impala 主要支持 HDFS ,Kudu 发布之后, Impala 和 Kudu 更是做了深度集成。 在众多大数据框架中, Impala 定位类似 Hive ,不过 Impala 更关注即席查询 SQL 的快速解析,对于执行时间过长的 SQL,仍旧是Hive更合适。对于GroupBy等SQL查询,Impala 进行的是内存计算, 因而 Impala 对机器配置要求较高, 官方 建议内存 128G 以上,此类问题 Hive 底层对应的是传统的 MapReduce 计算框架,虽然执行效率低,但是稳定性好,对 机器配置要求也低。 执行效率是 Impala 的最大优势, 对于存 储在 HDFS 中的数据, Impa

文档评论(0)

1亿VIP精品文档

相关文档