苏宁云商的大数据平台架构.PDFVIP

苏宁云商的大数据平台架构 王志强 苏宁云商.大数据中心.平台开发部 2015-07-25 关于我和我的小伙伴们 大数据中心.平台开发部 职责： 团 提供集团各个业务所需要的存储和计算能力。 队 保证平台的稳定、高效运行。 提高平台易用性。 目标： 打造稳定、易用、高效的平台，提高数据分析效率，实现人人都是数据分析师。 大数据攻城狮 我 5年的大数据工作经验 2015/7/28 Copyright© 2002-2015 ，苏宁云商 2 内容 • 发展概况 • 总体框架 • 平台介绍 •TO DO 2015/7/28 Copyright© 2002-2015 ，苏宁云商 3 发展概况-特点 • 发展快 -- 600+节点，5w+ job/天 -- 作为苏宁基础数据平台，在公司内广泛使用 -- 30+ 中心或部门，200+开发者。 • 开源为主，辅以自研 -- 基础平台以开源为主 -- 部分组件自研 2015/7/28 Copyright© 2002-2015 ，苏宁云商 4 发展概况-平台 • 海量数据平台 • HDFS/Yarn/Hive/MapReduce/Spark • 流式计算平台 • Storm/Libra • KV存储平台 • HBase/Cassandra • 数据开发平台（CBT ） 2015/7/28 Copyright© 2002-2015 ，苏宁云商 5 总体框架-架构 外部系统 数据工程师，运营，产品经理，外部人员 服务对象 数据交换模块 数据开发平台 数据分析平台 平台服务层 监控模块 调度模块 权限管理 数据清洗 元数据 优化模块 平台管理层 Zookee Hive MapReduce Spark Libra per HBase Yarn Storm 基础平台层 Flume HDFS Cassandra Web 日志 APP 日志 爬虫 合作数据 …… 企业经营数据 数据源 2015/7/28 Copyright© 2002-2015 ，苏宁云商 6 海量数据平台 • 包括：Hadoop、Hive、Spark • 海量数据存储 • 离线计算 • 内存/迭代计算 • 算法平台 2015/7/28 Copyright© 2002-2015 ，苏宁云商 7 海量数据平台-Hadoop • 部署架构 • 平台管理 • 监控体系 • 运行分析 • 分享 • 升级过程 • 问题及解决 2015/7/28 Copyright© 2002-2015 ，苏宁云商 8 海量数据平台-Hadoop • 网络部署架构 • 单独划分网络区域 • 主节点隔离 2015/7/28 Copyright© 2002-2015 ，苏宁云商 9 海量数据平台-Hadoop • 逻辑部署架构 • HDFS HA • Yarn HA • 不同组件不同用户部署 • 客户端统一管