大数据Impala二次开发.pdf

Impala二次开发 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. 目录  前言  开发环境准备  Impala-shell命令行  导入数据  JDBC开发  运行结果 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 1 前言 本课程专供需要使用 FusionInsight HD进行Impala应用开发的 使用者 。主要针对Impala 中所提供的JDBC接口 ，适用于具备 Java、SQL开发经验的开发人员。 通过本课程的培训，了解提供了华为FusionInsight HD产品 Impala组件的impala-shell命令行和JDBC接口开发流程，同时 提供样JDBC例代码，便于开发者快速熟悉Impala服务及开发相 关应用。 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 2 开发环境准备 为了运行FusionInsight HD产品Impala组件的JDBC接口样例 代码，需要完成下面的操作。 1. 确认FusionInsight HD产品Impala组件已经安装，并且正 常运行。 2. 客户端机器安装Eclipse,JDK,Maven程序，安装要求如下：  Eclipse使用3.0及以上版本。  JDK使用1.7及以上版本。  Maven使用3.0.5及以上版本。 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3 开发环境准备 3. 客户端机器的时间与FusionInsight HD集群的时间要保持 一致，时间差要小于5分钟。FusionInsight HD集群的时间 可通过登录主OMS服务器（Hadoop管理IP地址所在节点） 执行date命令查询。 4. 如果集群启动了安全服务，需要配置Kerberos账号和 keytab文件。从系统管理员处获取一个Impala Kerberos机 机帐号以及keytab文件，用于登录FusionInsight HD平台 并通过认证。 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 4 shell命令行 impala-shell 命令适用于熟悉的 Unix 和linux系统的开发者， 您可以使用 Impala shell 工具 (impala-shell) 设置数据库和表 插入数据和发出查询。对于特殊查询和浏览，您可以通过交互 式会话提交 SQL 语句。 在实际的应用开发中配合impala-shell ，有助于进行快速的测 试和问题定位。 Impala-shell配置和命令 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 5 shell命令行 FusionInsight集群在安全模式下，在集群任中意节点执行下面 命令进行Kerberos认证： 文档密 文档名称 级 kinit impala_userAcount 文档密 执行下面的命令连接到impala-shell命令行模式： 文档名称 级 impala-shell -k -i haproxyfloatname:28040 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 6 导入数据—外部表 默认情况下，Impala 创建内部表，Impala