12-第十二章 Hadoop 实时数据处理技术.ppt

第十二章 Hadoop实时数据处理技术 学习目标 ·了解 Hadoop 实时处理技术的进展? ·了解 Storm 实时处理技术? ·了解 Storm-Yarn 实时处理技术? ·了解 Spark 实时处理技术 1. Hadoop 实时处理技术的进展 1. 过去十年Hadoop、Map/Reduce 等相关技术实现了针对大量数据的分布式存储 和处理操作，极大地提高了处理效率，并降低了传统技术的处理成本 2. 近几年，互联网中的数据增长速度出现了前所未有的突破，数据量越来越大，数据的价值却呈现出昙花一现，若不及时对其进行处理，很容易被海量的数据集弱化，Hadoop 和 Map/Reduce在处理效率和响应速度上都不能满足数据实时处理的要求，所以Storm应运而生。 2. Storm ·什么是Storm Storm 起源于 Twitter，后来贡献给 Apache 自由软件基金会，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上。 Storm 简化了传统方法对无边界流式数据的处理过程，可以对数据进行实时分析、在线机器学习、持续计算、数据仓库技术以及可以简化分布式 RPC 的处理过程等。 · Apache Storm 组成结构 类似于map/reduce中的Namenode和Datanode. · Storm数据流 流在Storm内各组件