小源数据平台规划PPT课件.pptxVIP

小源大数据组 数据部 2016-10-25 第1页 . 名师学习@归纳总结#欢迎下载！精品资源~ 目 录 一、 现状分析 1.1 业务现状 1.2 数据现状 1.3 支撑现状 二、 数据中心的设计与规划 三、 数据中心实施计划 第2页 . 名师学习@归纳总结#欢迎下载！精品资源~ 业务现状 企业信息化 多趣短信 JIRA Wikijira 户部管理系统 短信公众号管理 脚本管理 销售平台 第3页 . 名师学习@归纳总结#欢迎下载！精品资源~ 数据用户部门 第4页 . 名师学习@归纳总结#欢迎下载！精品资源~ 数据现状 数据总量30TB+ 日增量超过300GB+ 30亿行 入库OSS时效：2小时 格式化分拆数据 7小时 数据 第5页 . 名师学习@归纳总结#欢迎下载！精品资源~ 现数据平台技术架构 hbase OSS 存储层 计算 层 Spark streamming RDS mysql spark-SQL 应用层 自研报表系统j2ee+ext Hadoop hdfs 接口 小时log文件 RDD phoenix 第6页 . 名师学习@归纳总结#欢迎下载！精品资源~ 面临的问题 数据量大（30亿行） 数据访问难度大 数据结构复杂 第7页 . 名师学习@归纳总结#欢迎下载！精品资源~ 目 录 一、 现状分析 二、 数据中心的设计实施 2.1 方法论 2.2 数据中心的逻辑架构 2