大数据培训_Module15Impala架构原理研讨.pptx

Impala架构原理 目录 1. 应用场景 2. 组件架构与功能 3. 关键流程 4. 常用命令和流程 5. 性能调优 . Page 1 应用场景 ? Impala，是一个MPP架构的大数据分析引擎，提供交互式、 即时Sql查询能力。 . Page 2 应用场景 . Page 3 ImpalaSQL语言参考 ? 兼容SQL-92，部分兼容SQL-2003 ? Impala支持大多数与Hive相同的语句和子句，包括但不限于 JION、 AGGREGATE、DISTINCT、UNION ALL、ORDER BY 、LIMIT 以及 FROM 子句中的（非相关）子查询。Impala 还支持 INSERT INTO 和 INSERT OVERWRITE。 ? Impala 支持名称和语义与等效 Hive 数据类型相同的数据类 型：string、TINYINT、SMALLINT、INT、BIGINT、FLOAT 、DOUBLE、BOOLEAN、STRING、TIMESTAMP 应用场景 . Page 4 Impala支持的文件格式 文件类型 格式 编码方式 是否支持创建表 是否支持插入 Text 非结构化 LZO、gzip、 bzip2、Snappy 是，没有 STORED AS 子句的 CREATE TABLE，默认文件格式 为未压缩文本 是 RCFile 结构化 Snappy、gzip、 deflate、bzip2 是 否 目录 1. 应用场景 2. 组件架构与功能 3. 关键流程 4. 常用命令和流程 5. 性能调优 . Page 5 Hive Metastore HDFS NN StateStore Catalog Query Planner HDFS DN Query Coordinator Query Exec Engine Query Planner HDFS DN Query Coordinator Query Exec Engine Query Planner HDFS DN Query Coordinator Query Exec Engine JDBC/ODBC Application Impala Cluster HaProxy 组件架构与功能 Impala使用了Hive的元数据， . Page 6 组件架构与功能 . Page 7 、 组件名称 描述 Haproxy 负载均衡节点，负责均匀分发查询会话到各Impalad节点。 主备机制，提供高的可用性。 Catalog 元数据管理节点，负责元数据的载入与修改。主备机制，提 供高的可用性。 Statestore 状态同步节点，负责在Catalogd和各Impalad节点之间同步 元数据、Impalad节点状态。主备机制，提供高的可用性。 Impala 工作节点，提供JDBC/ODBC/CLI查询服务，负责语句的解析 执行计划的生成与优化、调度协调多个Impalad节点完成查 询。 目录 1. 应用场景 2. 组件架构与功能 3. 关键流程 4. 常用命令和流程 5. 性能调优 . Page 8 关键流程 StateStore注册 1. Catalog启动后，向StateStore注 册 2. Impalad启动后，向StateStore注 册 3. StateStore向注册者周期性的发送 心跳，心跳中携带注册者所关注 的信息 StateStore Catalog Impalad Impalad Impalad 1 2 . Page 9 关键流程 ? 元数据加载 1. Catalog从Hive Metastore和 HDFS Name Node中载入读取元 数据 2. 在StateStore的下次心跳探测中回 带新版的元数据信息 3. 在StateStore对各Impalad的下次 心跳中，新一版的元数据信息被 发送给各Impalad Hive Metastore HDFS NN StateStore Catalog Impalad Impalad Impalad 1 2 3 . Page 10 关键流程 ? 元数据修改 1. DDL语句被提交到某一Impalad 2. Impalad请求Catalog进行元数据 修改 3. Catalog请求Hive Metastore进行 元数据修改 4. 更新后的元数据版本随StateStore 的下次心跳回带到StateStore 5. StateStore在对Impalad的下次心 跳中携带新版元数据信息，完成 元数据的同步 Hive Metastore HDFS NN StateStore Catalog Impalad Impalad Impalad 3 4 5 2 1 DDL语句 . Page 11 关键流程 ?