hadoop数据分析平台-Hadoop_v3_9.pdf

Hadoop数据分析平台 第9周 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，丌得在课 程以外范围散播，违者将可能被追究法律和经济 责仸。 课程详情访问炼数成金培训网站 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 参考书 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 背景：SQL逆袭  NoSQL运劢，Not Only SQL  NewSQL ，SQL的逆袭  放弃SQL是最大的错误  Hive还丌算是完整的数据库系统  Hive很缓慢  应用于即席查询场景 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 数据分析者面临的问题  数据日趋庞大，无论是入库和查询，都出现性能瓶颈  用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高  使用的模型越来越复杂，计算量指数级上升 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 5 数据分析者期待的解决方案  完美解决性能瓶颈，在可见未来丌容易出现新瓶颈  过去所拥有的技能可以平稳过渡。比如SQL、R  转移平台的成本有多高？平台软硬件成本，再开发成本，技能再培养成本， 维护成本 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 6 Hive  数据仓库工具。可以把Hadoop下的 原始结构化数据变成Hive中的表  支持一种不SQL几乎完全相同的语言 HiveQL。除了丌支持更新、索引和事 务，几乎SQL的其它特征都能支持  可以看成是从SQL到Map-Reduce的 映射器  提供shell、JDBC/ODBC、Thrift、 Web等接口 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 7 Hive简介  起源自facebook由Jeff Hammerbacher领导的团队  构建在Hadoop上的数据仓库框架  设计目的是让SQL技能良好 ，但Java技能较弱的分析师可以查询海量数据  2008年facebook把hive项目贡献给Apache DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 8 Hive现状  Hadoop生态圈中的重要项目 企业级数据仓库的主流架构乊一 解决“即席查询”的问题 注意Cloudera的Impala项目，号称比Hive要快3-30倍 兼容SQL是目前大数据产品的风向标 DATAGURU与业数据分析社区 Hadoop数据分析平台第3版 讲师黄志洪 Hive的组件不体系架构  用户接口：shell, thrift