袋鼠云申杭大数据平台的演进之路-申杭.pptxVIP

大数据平台的演进之路 袋鼠云大数据产品总监-申杭大数据平台的发展历程 数据中台介绍 数栈产品介绍 数据中台案例 大数据平台的发展历程 面临的 问题 传统数据仓库计算引擎 Client SMP 代表：小型机 DB 磁盘 Client 磁盘 DB DB DB DB 共享磁盘 代表：Oracle RAC Client DB DB DB DB MPP 代表：Greenplum,Teradata 磁盘 磁盘 磁盘 磁盘 在数据量爆发性增长的情况下，计算能力面临瓶颈 主要面向离线计算处理，缺少对实时计算/机器学习/即系查询等场景的支持 数据管理/数据治理能力弱 3 大数据平台的发展历程 新时代的计算平台架构 监控与 警报 业务 数据 服务 硬件 数据应用 流量统计 用户行为分析 用户画像 推荐 广告 …… 数据应用平台 元信息管理 作业管理 交互分析 多维分析 可视化 数据基础平台 计算层 调度层 存储层 接入层 MR HIVE Storm Spark Kylin Caffe/Tensorflow.. Yarn Kubernetes HDFS Hbase Kafka Canal/Sqoop Fleme 平台管理 流程 权限 配额 升级 版本 机器 大数据平台的发展历程 数据计算的频率 数据实时性越来越高 容错性高 处理量越来越多 特点: 大数据平台的发展历程 辅助决策-数据业务化 成本中心-利润中心 价值模糊-可量化 大数据价值 大数据平台的发展历程 数据抽取 工具选型 数据计算 平台选型 服务器 数据应用 厂商 大数据平台建设步骤 存储 数据服务 厂商 Informatica Datastage Kettle …… Oracle GreenPlum IBM HP EMC BO Tableau Cognos 东软 IBM GDC 缺点 产品分散，厂商多，周期长 IOE体系,产品费用高 运维管理成本高 数据中台介绍 数据模型 数据服务 数据计算 和萃取 数据资产 数据采集 数据治理 数据中台定位 做为企业全域数据的共享能力中心，旨在提供数据采集、数据模型、数据计算和萃取、数据治理、数据资产、数据服务等全链路的一站式产品+技术+方法论服务，构建面向业务应用的数据智能平台 数据中台 决策管理层“大中台、小前台”战略创新的决心 驱动组织和流程进化，构建全域打通的数据中台 协调业务部门和技术部门，中台战略的落地重于设计 降低大数据的技术门槛 在线化知识沉淀和传承 “方法论+工具保障+合作厂商”降低对高端人才的依赖 分布式计算存储调度架构 企业级数据仓库＋实时流计算 覆盖大数据全生命周期的一站式可视化平台 数据中台介绍 战略 决心 人才 投入 工具 保障 企业级数据仓库 数据应用层ADS 公共维度模型层CDM 操作数据层ODS 数据 开发 套件 数据 治理 套件 分布式大数据计算引擎 数据应用引擎 实时流计算 事件驱动 毫秒级 BI报表 DI应用 智能计算 机器学习 深度学习 数据中台介绍 大数据平台理念对比 计算平台多样性 离线计算/流计算/图计算/机器学习/分析引擎，支持更多的应用场景 开发方式变革 纯web化开发方式，一站式数据处理流程 方法论的产品化 数仓建设规范，标准，产品化 数据丰富性 丰富的采集手段，涵盖业务数据，日志数据，行为数据，IOT数据，估计数据，图片数据 数据治理 脏数据管理，元数据管理，数据质量，数据资产 数据应用 BI报表/大屏/营销引擎/DMP 1 2 3 4 6 5 10 数据中台介绍 数据中台价值 全面梳理数据资产 构建全域数据中心 落地战略和组织保障 培养业务创新的土壤 数据资产管理在线化 形成数据人才成长的摇篮 通过业务的不断滋养 打造业务和数据的闭环 11 数据中台介绍 部署计算平台，开发套件，数据治理，数据应用引擎等产品 在平台的基础上构建数据仓库，数据治理，数据应用等服务 持续迭代，推进 高层重视，自上而下推动 组织变更，提升中台部门的战略地位 数据中台人员配备(数据开发/算法开发/分析师/前后端研发/业务人员) 数据中台实施路径 数栈产品介绍 数栈：企业级一站式数据中台PaaS 13 EasyManager 安装部署 运维监控 Spark 批量计算引擎 Flink 流计算引擎 Yarn 分布式资源调度 HDFS 分布式存储引擎 Kafka 分布式消息队列 Tensorflow 深度学习引擎 DTEngine 任务执行引擎 DTGateway API网关 DTinsight.IDE 开发套件[1] DTinsight.Valid 数据质量 DTinsight.API 数据API FlinkX 数据同步引擎 Console 多租户隔离 多集群管理 数栈产品介绍 数栈产品架构 数栈产品