电信运营商大数据创新发展在路上-中国联通研究院.PDFVIP

电信运营商大数据创新发展在路上 李卫 1 前言 随着 “互联网+”的快速发展，大数据产业规模呈几何级增长。在刚刚结束 的2016 中国大数据产业峰会暨中国电子商务创新发展峰会上，来自国家发展和 改革委员会的报告显示，2015 年国内大数据产业市场规模已达 1105.6 亿元，较 2014 年增长44.15% ；未来5 年，中国大数据产业规模年均增长率将超过50% ， 到2020 年中国的数据总量将占全球数据总量比例的20% ，成为世界第一数据资 源大国和全球数据中心。 中国联通是率先将全国数据集中采集、集中运营的电信运营商，早在 2012 年就开始启动大数据平台架构规划和工程建设，并致力于数据的对外开放与合作。 经过4 年多的发展，实现了PB 级多源异构数据在统一平台上的存储、融合及加 工，构建了数据存储、数据加工、数据建模以及数据审核等能力，实现了数据资 源、数据挖掘服务和数据挖掘结果的开放；在应用方面，不仅对内实现了经营辅 助分析、网络质量优化和精准实时营销等大数据应用，还面向互联网金融、旅游、 广告等行业，实现了一系列基于跨行业数据融合开放的创新产品，带动了多家产 业公司发展新业态，为我国大数据面向行业化“互联网+”以及“双创”工程提 供了基础创新环境。 2 大数据平台架构 对于电信运营商而言，要实现大数据的融合与开放，面临的主要困难包括： 数据来源广泛、数据规模大、数据类型复杂、数据处理技术异构、承载设备异构 等。针对这些问题，中国联通综合采用云计算和大数据技术，搭建具有系统级扩 展能力的混搭大数据能力开放平台 （如图1 所示），实现全集团数据的大集中， 形成共享开放的数据资产与服务能力。 图1 大数据能力开放平台架构 大数据能力开放平台的最底层是统一IaaS 云平台，实现异构设备资产、资 源的一体化管理与调度，管理和调度X86 物理、X86 虚拟、小型机、SAN 存储 等异构设备，实现资源全生命周期自动化管理与分配。 中间层是采用“SMP+MPP+Hadoop+流处理”混搭架构的基础大数据平台、 开放式数据分析挖掘平台以及大数据Gateway ，提供数据存储、数据加工、数 据建模以及数据审核等能力，实现多源异构数据的高效融合处理，提供全网用户 的特征标签加工，提供数据挖掘服务以及挖掘数据结果的开放，实现大数据开放 的合规要求。 基础大数据平台主要提供全量数据的清洗、稽核、存储、加工以及基本的整 合功能。面向M 域的数据加工处理需求，采用Oracle 的批量处理技术；面向 O 域的实时数据加工处理需求，采用流式数据处理技术；面向B/O 域的海量、 批量数据加工处理需求，采用HDFS 存储+Hive/Spark/MapReduce 批量处理 +HBase 海量查询的混搭技术。各域的数据加工处理后，采用SMP 进行跨域数 据整合，对外提供应用类、查询类、开发类等云化数据服务。 开放式数据分析挖掘平台提供数据挖掘能力及挖掘结果的开放。在开发态下， 面向租户支持“标签+规则”、“指标+规则”、多维关联分析、数据挖掘以及R 建 模等5 种方式建模，提供模型的发布、订阅、使用以及分享等；在运行态下，支 持分别以Web Service 及FTP 两种服务接口方式，对外提供实时类和周期类模 型结果数据服务。 大数据Gateway 在内网区完成数据挖掘及结果数据生成后，按租户配置实 例化规则，对实时或批量输出的结果数据文件进行内容级合规性审核、脱敏、记 录审计，再向外网区第三方用户开放，实现结果数据资源的分发、敏感数据的过 滤和安全审计等，保障大数据开放的合规要求。 最上层由大数据应用开发平台和大数据应用管理平台构成，基于底层平台能 力实现各类大数据孵化应用，是数据创新的外在体现，实现业务创新转型的同时， 实现数据价值的增值。 多租户运营管理纵向贯穿各层，实现平台计算能力、存储能力、输入数据、 数据作业及结果数据按租户的隔离，保障大数据能力开放平台支持多租户、多作 业的鲁棒性，同时增强平台处理能力的共享复用程度，构建了从应用支撑到数据 加工作业以及资源供给三个层面的多租户开放运营管理能力。 3 大数据创新业务 大数据为运营商提供了新的价值出口，利用数据分析得出的结果，运营商可 以开展丰富的数据创新业务，对内可以为生产