2015第讲数据仓库.pptVIP

数据分析者面临的问题 数据日趋庞大，无论是入库和查询，都出现性能瓶颈 用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高 使用的模型越来越复杂，计算量指数级上升 数据分析者期待的解决方案 完美解决性能瓶颈，在可见未来不容易出现新瓶颈 过去所拥有的技能可以平稳过渡。比如SQL、R 转移平台的成本有多高？平台软硬件成本，再开发成本，技能再培养成本，维护成本 Hive简介 ?起源自facebook由Jeff Hammerbacher领导的团队 ?构建在Hadoop上的数据仓库框架 ?设计目的是让SQL技能良好，但Java技能较弱的分析师可 以查询海量数据 ?2008年facebook把hive项目贡献给Apache Hive 数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表 支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务，几乎SQL的其它特征都能支持 可以看成是从SQL到Map-Reduce的映射器 提供shell、JDBC/ODBC、Thrift、Web等接口 Hive不适合用于联机事务处理，也不提供实时查询功能。最适合应用在基于大量不可变数据的批处理作业。 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进