构建可视化交互大数据查询平台.pdf

构建可视化交互大数据查询平台 Admaster 向磊 大数据的交互式查询 1. 交互式查询很重要 我们不能要求所有人使用Linux命令行 减轻开发人员压力 需求即结果 2. 可选择余地很少 HUE, Qubole, phpHiveAdmin, Shib... 3. 难点 作业的提交 作业监控 集群监控 操作HDFS 为什么要开发交互式平台 一个最根本的原因是，不是所有人都会用Linux shell 不是所有人都能从shell操作Hadoop, Hive, Spark...，而且这样不安全 让专业的人做专业的事，让产品经理自己去写无聊的SQL吧 一个数据分析作业在运行以前，可以在界面里先进行测试 界面化交互式平台可以解决以上问题 别人开发的东西难用，不会维护 最重要的事情提高数据分析工作的开发效率，干什么都要快 各平台对比 HUE phpHiveAdmin Qubole 开源 Yes Yes No 开发语言 Python/Django php/CodeIgniter Python/java SDK 部署难度 Easy Medium AWS 功能 多/强大 Hive Hive 二次开发 Python+Java 容易 Only SDK Spark支持 Y N N 集群作业监控 Y N ? HDFS管理 Y Half ? 可维护性 较难 矛盾 找Qubole 架构 B/S+C/S B/S Unknown 典型案例 一个典型的例子是我在那家涨停N次以后停牌的公司做phpHiveAdmin的时候 不要问我关于那家公司股票的问题，我没有的 结果出乎意料 1. 极大的提高了在Hive上做数据分析的效率 2. 进而极大的提高了数据的产出效率 3. 开源后有N多国内外公司使用，并提交patch 4. 但是我仍然建议最好自己写一个 5. 这是一个公司从核心技术层面深入了解Hadoop和Spark的好机会 6. 将Spark/Hadoop/HBase/Hive整合为一个统一管理的可视化数据平台， 大幅度降低分别管理和维护的成本。 7. 大幅度降低数据分析业务开发的周期和成本。 因何降低成本 ？ 把N多数据分析作业以众包形式分解，以提高分析作业的开发效率 自己开发一个难吗 ？ 关键在了解各种接口及对接口数据的获取 HDFS YARN/MR Hive Pig HBase Spark Restful Y Y N N Y 1.4 later Thrift N