梁堃-Impala简介与基于LLVM的性能优化.pdfVIP

Impala简介 ——基于LLVM的性能优化 @梁堃-freearth 2013-04-13 提纲 • 背景介绍 • Impala结构 • LLVM优化 • 讨论 背景 • 更多的数据 – Log数据、Web数据… • 更多的分析与挖掘需求 – 需求挖掘、验证、决策指导… • 面临的问题 – 数据的组织与管理 – 数据的访问与查询 背景 提纲 • 背景介绍 • Impala结构 • LLVM优化 • 讨论 Impala：部署结构 StateStore Compiler Compiler Compiler Coordtor Coordtor Coordtor Executor Executor Executor Impalad Impalad Impalad HDFS HBase Other Impala：执行结构 Client StateStore Compiler Compiler Compiler Coordtor Coordtor Coordtor Executor Executor Executor Worker Master Worker HDFS HBase Other Impala：数据流结构 Workers Master Workers SELECT dim_region.region_id, COUNT(device_id) AS devcount FROM lbs_pv_fact JOIN dim_region ON (region_id) GROUP BY region_id ORDER BY devcount DESC LIMIT 50; Impala：代码结构(1/2) • FE(Java)：编译器实现 –jflex 、cup ：语法分析 – analysis ：AST定义，语义分析 – planner：物理计划生成 – catalog：元数据 – common ：公共工具 – service ：fe驱动，供C++调用的JNI封装 Impala：代码结构(2/2) • BE(C++)：执行引擎实现 – runtime：coordinator实现 – exec、expr：算子与表达式 – codegen ：LLVM代码生成器 – service，transport ：impalad暴露的thrift服务 – statestore ：statestore实现 – common ：C++部分工具库 提纲 • 背景介绍 • Impala结构 • LLVM优化 • 讨论 LLVM：简介 • Compiler Infrastructure C/C++/ObjC