行业分析报告-企业大数据平台践行之路.pptxVIP

GdevopsGdevops全球敏捷运维峰会浙江移动大数据平台践行之路Gdevops目录第一部分企业级大数据平台的建设背景第二部分企业级大数据平台建设规划第三部分建设过程中的问题和解决思路Gdevops大数据平台整合之前网管大数据平台信息技术部大数据平台S E Q拓 明日 终 详 网 志 端 单 络 留 分 查 性 存 析 询 能分析运 管 大 数 据 分 析客 精户 准 客 指 行 广 流 标 为 告 分 查 分 营 析 询 析 销标 报 云化 指标库 签 表 历史库 库 库实时信 令处理 系统详单 查询信令监 测系统集群集群集群集 集 集 集群 群 群 群ClouderaHadoop集 集 集 集 集群 群 群 群 群Apache HadoopOracle ExdataIBMStreamsIBMStreamsMPPCloudera Hadoop PBdataMPP随着大数据技术的发展信息技术部和网管中心分别在内部逐步开始试点基于分布式架构的大数据平台技术， 目前在局部使用MPP数据库、HADOOP、流处理技术，试运行取得了较好的效果，但是由于缺乏统一的规划 和技术演进策略。存在平台重复建设、数据大量冗余，数据质量较低，以及MPP数据库兼容性问题、Hadoop 版本不统一、人员不足等问题，严重影响了对大数据的应用，因此亟须在公司层面构建统一的大数据平台，并 统一采集数据，向各部门开放，夯实大数据应用的基础。Gdevops大数据平台整合之前存在的问题分析竖井林立、数据冗余数据标准化、一致性低“烟囱”式的系统大量建设，扩展性差，导致重复投资、数据大量冗余，且大数数据标准化不足，数据一致性低，导致 数据交互复杂，增加运维管控难度据平台架构整体结构没有统一的规划，缺乏对整体架构演变的长远考虑。问题数据采集不全、质量不高应用创新不足缺乏核心能力导致大数据应用创新难度 增加，创新产品容易被复制，不能灵活 应对市场需求，竞争压力加大系统数据库结构差异，导致数据迁移中存在数据丢失、重复、错误等问题，导致数据可用性差Gdevops目录第一部分企业级大数据平台的建设背景第二部分企业级大数据平台建设规划第三部分建设过程中的问题和解决思路Gdevops企业级大数据平台规划思路构建“数据整合、能力共享、应用创新”的企业级大数据平台，对各域数据实现资产化的 统一管理，进行持续的业务创新、运营提升、管理优化，推动开放共享，助力数字化服务曲线 的发展。数据应用行业 终端生意解决 参谋客流分析 舆情分析 数据 广告投放服务个人征信 洞察服务数据开放数据开放服务（ Open Data Bus ）数据资产管控应用管理企业级数据服务位置服务 征信服务 …… 洞察服务数据管理大数据安全管理平台数据建模基础数据建模 业务融合建模运维管理数据处理交换中心 资源池（Hadoop/MPP/流处理）资源运营数据源B域数据O域数据M域数据互联网社交数据IoT数据数据处理Gdevops实现数据统一汇聚、建模业务层? 进行组织和管理转型，组建模型 设计开发团队，进行数据建模实 践，掌握企业级基础模型，实现 对核心能力的掌控。? 对B、O、M三域数据进行了梳 理，分层分类构建统一数据模型， 实现企业数据模型标准化和一致 性。? 基于Hadoop云化数据处理平台， 实现各域数据的统一汇聚，形成 融合的统一数据模型。决策运营客户体验财务分析创新变现……知识层客户知识……渠道知识信息层个人客户统一视图 产品统一视图其它…数据层ODSDWDDWSTO域数据MBB域数据B域数据M域数据互联网域数据其他第三方数据存储HadoopMPP 内存DB传统DB数据 采集数据 源离线采集实时采集互联网采集互联网数B域数据O域数据M域数据据Gdevops实现数据资产化管理以资产的视角来管理数据，实现数据资产的可查，可看，可用，最终实现大数据资产管理核心能力的全面掌控。资产规划? 规划企业数据资产目录、分类体系及数据部署架构，定期进 行盘点和发布数据 资产 管理体系建立? 构建企业数据常态化运营管理机制，在源数据发生新增、变更时，实现数据的快速引入和更新平台化管理? 构建数据资产管理平台，实现数据从引入、处理、发布、稽核及修正的平台化管理，确保大数据资产的应用效率Gdevops实现数据统一开放共享对外变现1.用户偏好服务2.数据交换服务3.精准广告协同数据能力服务1.地理位置服务2.用户标签服务3.网络策略服务4:(分阶段…..)大数据平台客户投诉 人流监控渠道营销 业务推荐 互联网广告 征信应用数据产品 ……数据能力开放应用层开放SaaS应用服务开放: 用户信用监测 人流监控应用应用服务开放能 力 开 放 平 台能力层开放AaaS用户洞察内容洞察分析能力开放: 用户标签分析 地理位置分析终端洞察位置洞察数