大数据平台架构及建设的思路详解.pptVIP

中国移动通信|CMDl CHINA MOBILE中国移动设计院 大数据平台架构及建设思路 丽 MDI 2018/1/25 中国移动通信集团设计院有限公司 做国内最佳、创国际流的通信咨询设计企业  CMDI 中国移动设计院 二大数据加绍 二、主流技术比较 、中国移动大数据平台建设思路  什么是大数据 CMDI 中国移动设计院 大数据”是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的 数据集。目前,大数据的般范围是从几个TB到数个PB。 麦肯锡 无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的 数据集合。 维基百科 数量大、获取速度快或形态多样的数据,难以用传统关系型数据分析方法进行有效 分析,或者需要大规模的水平扩展才能高效处理。 —美国国家标准技术研究院(NIST 体量大、快速和多样化的信息资产,需用高效率和创新型的信息技术加以处理,以 提髙发现洞察、做出决策和优化流程的能力。 Gartner公司  运营商对大数据的理解 CMDI 中国移动设计院 网络数据、用户数据、应用数据的汇聚构成了我们的“大数据”。这些结构化、非结构化 的数据的处理和建模形成对用户、服务、资源、终端等对象的洞察。这些洞察与市场营销、网 络运维等业务流程的衔接将会给公司带来新的价值。 釆集、建模和应用 数据处理实时性与价值呈正比 改善市场 提升网络 改善客户创新商业 改运营效率运维效率满意度 模式 洞察:用户/服务庹资源/终端/ 大数据2 模 结构化数据处理 非结构化数据处理 非结构化的数据 包括互联网日志、 web文本信忠非 网络数据 用户数据 应用数据 大数据1 数话单XD 信息 Web 批处理,事先定 BSS数据 义的查询和模型 朱网络资源 终端 .APPS 传统商业智能 品口回的②国回圖 大数据具备 Volume海呈、 Variety多样、 Velocity快速 Value价值的特点。据 ERicsson预测,到 2018年,每个手机终端每个月将产生2G的数据。( Ericsson Mobility Report,2013年)  中国移动数据分布 CMDI 中国移动设计院 B B域数蝌以客户关系、用户行为、产品信息等为主,支撑客户经菅和产品菅销 O域 O域数据以设备数据、告警信息和性能信息等为主,支撑网络监控、网络优 化、用户投诉处理等 M城 M域数据以赐务、人力资源、供应链和办公信息等为主,支擰业管理、企 业办公信息化等 DP数据域 DPI数据域以上网日志、内容构成用户轨迹、网络信令等为主,可支撑流量 经营、网络运维和增值脶务等 九大业务基地:基地数据以用户信息、用户行为信息等为主,可支撑个性化 业务平台推荐、优化产品和服务等。WAP知彩信:存储网络日志,可支撑定位网络及 终端回题 业务平台 I系统 彩铃平台游戏平台 网管系统 ERP 背干网需 Intent 省网网怕出口 出口 第三方网名  运营商大数据运用 CMDI 中国移动设计院 前主要的电信运营商都已积极探索开发其内部大数据资源。但从目前的应用发展看,电信运 营商的大数据仍主要用于内部服务的,如支持內部的客户流失分析、营销分析和网络优化分析 等,对外的应用模式尚未成型,部分电信运营商开始尝试通过给第三方提供数据产品和服务 进行数据的增值。 口对内 口客户上网数据处理、网页爬取和网页分类、分析挖掘客户上网行为 口详单查询、上网日志查询 口流量分析、客户视图、精准营销 口网络运维优化 口对外: 口与航空公司合作,建立乘机客户识别模型,提供大数据挖掘、客户发展全流程大数据信 息服务,提供针对性的营销方案 口与交通运输部、省高速公路合作,开展“基于移动大数据分析在交通行业中的应用”研 项目 口利用通信信令实时分析景区人流量,结合游客的行为数据挖掘,为旅游管理部门、景区 提供数据的决策参考 口以客户授权为依据,发挥移动客户实名数据优势,为互联网金融提供客户信息验真服务 口与外部客户合作在手机冲浪平台实施移动广告精准投放  CMDI 中国移动设计院 一、大数据介绍 n扌流术较 、中国移动大数据平台建设思路  大数据处理技术 CMDI 中国移动设计院 大数据对传统数据处理技术体系提出挑战 大数据貝备数据量大、数据类型多、数垊处琿速度要求髙和价值密度低的特点,传统分析系统 架构( RDBMS+小型机+高端阵列模式)下,传统数据库无法支撑海呈数据(如100TB以上,性能下降 )、非结构化数据,现有IOE的架构无法线性扩展且