大数据处理及分析相关平台简介.pptVIP

大数据处理与分析相关平台简介 中国人民大学信息学院 董兆安 内容来自CSDN等互联网资源 大数据及其主要特征 2 规模（Volume）、种类（Variety）、 速度（Velocity） 2001年，道格.莱尼（Doug Laney） 关于大数据定义的误解 /doug-laney/ Other “V”s like veracity, validity, value, etc. are aspirational qualities of all data, not definitional qualities of big data. 3 硬件、技术、数据不断进化 4 传统的数据处理 External Data Sources Extract Transform Load Data Warehouse Integrated storage Data processing Users SQL 数据分析的需求也逐渐提高 从海量数据中快速获取有价值信息 低延迟、高性能、分布式、可扩展、容错。 6 RTAP OLAP OLTP 需求变化 7 Real-Time Non-Interactive Batch Interactive Online systems Real time Analytics Complex event processing Data preparation Incremental batch processing Dashboards Operational batch processing Enterprise reports Data mining Parameterized Reports Drilldown Visualization Exploration 0--5s 5s--1m 1m--1h 1h+ 场景不同-工具不同-视角不同 Hortonworks将应用需求进行了如下划分： 实时应用场景(0~5s)： Storm、S4、Cloudera Impala，Apache Drill等； 交互式场景（5s~1m）： 最好支持SQL，：Cloudera Impala、Apache Drill、Shark等； 非交互式场景（1m~1h）： MapReduce、Hive、Pig、Stinger等； 批处理场景（1h+） 运行时间较长，处理数据量较大，对容错性和扩展性要求较高 MapReduce、Hive、Pig、Stinger等。 8 大数据分析与处理架构——一个案例 9 Ingest Landing and Analytics Sandbox Zone Hive/HBase Col Stores Documents In Variety of Formats Ingestion and Real-time Analytic Zone Data Sinks Filter, Transform Ingest Correlate, Classify Extract, Annotate Models Widgets Discovery, Visualizer Search Analytics and Reporting Zone Metadata and Governance Zone 9 Connectors 大数据处理与分析技术 数据采集 数据处理 数据存储 统计分析 数据挖掘 模型预测 数据可视化 元数据管理 10 数据处理的几种模式 转换 Transformer Convert payload or modify headers 过滤 Filter Discard messages based on boolean evaluation 路由 Router Determine next channel based on content 分割 Splitter Generate multiple messages from one 聚集 Aggregator Assemble a single message from multiple 11 几种平台介绍 MPP Hadoop storm spark 12 开源的大数据处理平台 SQL on Hadoop Hortonworks: Tez、Stinger Cloudera: Impala Facebook：Hive，Presto Google发布了Dremel和PowerDrill EMC推出Pivotal+HAWQ 开源数据仓库brighthouse 基于MySQL的数据仓库存储引擎 13 开源的大数据处理平台 NO-MapReduce系统 微软的DAG任务计算模型Dryad Google的图批量同步处理系统Pregel和增量式计算框架Percol