海量数据在线分析技术剖析.pdf

海 量 数 据 在 线 分 析 技 术 剖 析 北 京 博 睿 宏 远 数 据 科 技 股 份 有 限 公 司 程 捷 前言 Hadoop将我们带入了大数据时代，使得处理TB级别乃至PB级别的数据成为一种可能。但众所周知，依 赖于MapReduce计算框架，导致实时性方面一直是Hadoop的一个硬伤。因此，如何实现对海量数据 秒级在线分析成为了不少大数据分析软件的核心目标。 好的数据存储和分析方案应该满足的标准 保证数据的原始列信息完整，即数据 支持超大数据集的在线聚合秒级响应 无损失 数据实时性 ，数据从产生到可查询不 数据存储设计灵活通用，可便利进行 应有太大延迟 业务扩展和兼容其他计算引擎 支持SQL-like查询方式，可灵活且快 数据支持编码和压缩存储，不存在明 速响应业务需求 显的数据膨胀现象