工业大数据平台介绍v20.ppt

工业大数据平台简介 2 什么是大数据及发展趋势 平台简介 3 什么是大数据及发展趋势 1 4 什么是大数据 大数据 指的是所涉及的数据量及数 据范围规模巨大到无法通过 目前主流软件工具，在合理 时间内达到截取、管理、处 理、并整理成为帮助企业经 营决策更积极目的的信息。 5 什么是大数据 大数据 处理技术代表了新一代的技 架构，这种架构通过高速获 取数据并进行分析和挖掘， 从海量形式各异的数据源中 更有效地抽取出富含价值的 信息。 分析：形成决策 深度挖掘 处理：数据抽取与集成 数据加工 大数据 云计算 结构化数据 半结构化数据 非结构化数据 加载：导入海量数据 信息交易数据 融合数据 行为记录数据 物联网 互联网 通信网 移动互联网 智能终端 6 什么是大数据 数据可以广泛获取，所稀缺的是如何从中挖掘出有价值的信息， 为社会提供智慧和观点 有价值的数据主要被用于分析和决策，企业用以分析的数据越全面，分 析的结果也就越接近于真实，意思着企业能够从这些新的数据中获取新 的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。 7 大数据发展历史 原型创建 完成初形建立 2008 IBM 推出大数据系列产品 InfoSphere BigInsights 、 Streams HP 收购 Vertica EMC 收购 Greenplnum 、 与 MapR 合作、推出 Greenplnum HD 2012 华为集成 Hadoop 、 流处理、 MPP DB 、并推 出大数据平台解决方案 2010 2011 2006 2003 2005 8 平台简介 2 9 平台的目标构架及定位 精细化管理 市场营销 供应链 物联网应用 指标应用 报表应用 主题分析 专题分析 应用层 基础分 析报表 多维度 立方体 数据 挖掘 实时 分析 自助 分析 数据 共享 能力层 数据层 数据统一的服务和开发 SQL 、 FTP 、 WS 、 MDX 、 API.. Hadoop 平台 明细数据 汇总数据 M/R HBase Hive 分布式文件系统 HDFS 数据源 结构化数据 CPCE 企业 A 系统 企业 B 系统 企业 C 系统 …… 主数据仓库 分布式数据库 数据采集 1 、负责源数据采集、清洗、转换、把 原始数据加载到 Hadoop 平台 2 、把加工后的数据加载分布式数据库 和主数据库 Hadoop 平台 提供并行的计 算和结构化数 据的处理能力， 实现低成本的 存储和低时延、 高并发的查询 能力 分布式数据库 存储加工、关联、汇总 后的业务数据，并提供 分布式计算，支撑数据 深度分析和 数据挖掘能 力 ，向主数据仓库输出 KPI 和高度汇总数据 主数据仓库 存储指标数据、 KPI 数 据和度度汇总数据 数据开放接口 向大数据应用方提供数据接口，给社会 进行使用（实现众创） 10 HDFS Hadoop Ecosystem Pig Hive Sqoop ...... Hbase Avro Z o o k e e p e r MapReduce 11 Hadoop 并行计算模式 HDFS-Hadoop Distributed File System HDFS- 为了做到可靠性 (reliability) 创建了多份数据块 (data blocks) 的复制 (replicas) ，并将它们放置在服务器群 的计算节点中 (compute nodes) ， MapReduce. MapReduce Input HDFS Split 0 Split 1 Split 2 Split 3 Split 4 map map map reduce reduce Output HDFS Sort/merge copy Part 0 Part 1 12 工业大数据平台 大数据 管理平台 建模、算法 (Noah ： Lifelong Machine Learning/Human Computation etc) Native Api / SQL / App Engine 服务封装 流处理 非、半结构化处理 结构化处理 存储密集类： MVX 集中存储与归档 计算密集类： 服务器带本地硬盘 13 工业大数据平台 - 整体技术架构 A.Html B.Html UI Widget UI 框架 Web 服务器 展示组件 ( 图表 | 图库 | 仪表盘 | 交叉表 ) 通知模板 展现终端 告警监控 数据模型 数据集成 企业 A 系统 CPCE 企业 B 系统 XXX 系统 实时数据 ETL 集成 数据 Adaptor 二维业务事件分析 实时多维分析引擎 统一数据中心 业务规则引擎 告警渠道