【代写代投】胡举贺治国周鼎-浅谈电信运营商大数据平台建设与典型应用案例探讨.doc

浅谈电信运营商大数据平台建设与典型应用案例探讨 胡举 贺治国 周鼎 （湖南中移通信技术工程有限公司） 【摘要】随着移动互联网和物联网的飞速发展，当今世界已全面步入大数据时代，大数据已然成为各行各业新的利润增长点。电信运营商如何顺应时代潮流，充分发挥自身丰富的、全维度的数据资产优势，挖掘大数据价值，是运营商实现战略转型，提升客户价值、企业价值和社会价值的关键因素。本文首先介绍了几种主流的大数据技术；然后结合大数据处理流程和分层分域框架，详细阐述了如何搭建电信运营商大数据平台；最后则围绕电子渠道实时精准营销应用进行了探讨。 【关键词】电信运营商；大数据；分层分域框架；电子渠道实时精准营销 1、序言 大数据是指对海量数据的分布式采集、存储、计算和智能分析挖掘，将数据转化为信息和知识，从而获取新的价值，具有数据量大、数据类型多、数据处理速度要求快、价值密度低等特点。随着大数据时代的来临，电信运营商拥有的通讯管道迅速“变粗”，行走于管道里的互联网应用越来越多，带来了各维度数据量爆炸式的增长，包括内容型数据、消费数据、位置数据、行为数据、交往圈数据等。一些互联网行业厂商（如国外的Google、亚马逊等；国内的阿里、腾讯等）已占据先发优势，利用自身拥有的大数据获得了现实的效益，利润率迅速提升。而电信运营商虽然拥有感知管道里所有维度数据的天然优势，但传统的管道运营模式无法充分挖掘、利用大数据价值，利润空间被互联网企业不断挤压。本文探讨了电信运营商如何合理的选用各类大数据技术进行分层分域的数据存储与计算，并给出了电信运营商大数据平台整体数据流程、技术架构以及典型应用案例。 2、电信运营商大数据平台建设方案 2.1 大数据平台整体流程 电信运营商大数据平台旨在整合公司内外部系统各类型的海量数据，实现统一数据采集与预处理、统一数据存储与计算、统一数据管控、统一数据开放与服务。整体数据流程如图1所示： 图1 电信运营商大数据平台数据流图 （1）数据源：B/O/M三域支撑系统、业务系统数据源，以及互联网、政府数据等外部数据源。（2）数据采集：将不同来源、不同特征的数据源通过不同的方式进行抽取和收集。（3）预处理：对采集来的数据进行必要的清洗及转换，确保整合进入大数据平台的数据的统一规范和准确性。（4）数据存储与计算：对进入大数据平台的所有数据进行分布式存储与计算、挖掘分析等加工处理，以满足各类应用的数据服务需求。（5）数据服务：以标准化接口对外提供资源开放服务、数据开放服务、工具开放服务等，支撑企业内外部应用。（6）数据管控：对大数据平台中的数据进行全生命周期的管控，包括元数据管理、数据安全管理、数据质量管理和租户管理等功能。 2.2 数据分层分域框架 数据分层分域框架主要是为了加速电信运营商跨域数据模型的融合，提高数据模型的复用度，使得不同粒度的数据可供各类应用进行灵活、高效的访问。 图2 电信运营商数据分层示意图 （1）原始数据层：实现各数据源系统到大数据平台的转存，只做临时的存储，支持与源系统的数据质量核对。（2）基础数据层：对原始数据进行清洗转换后，得到标准化、格式化、统一命名与数据格式的基础数据，有效屏蔽源系统差异带来的数据质量问题，其按照划分好的主题域（如参与人、服务、资源、账务、事件、营销、财务等）进行存储，提供最为详细和长周期的数据访问。（3）融合信息层：根据上层跨域分析应用，对基础数据进行汇总计算，形成相对稳定、可复用的中间数据层，提高数据使用效率，如用户清单汇总、渠道业务办理信息汇总等。（4）信息子层：为直接支持各类应用，对基础数据进行加工计算形成的数据层，如标签库、KPI报表等。 2.3 搭建大数据平台 考虑到不同分层、不同应用场景适配各不相同的大数据技术，电信运营商大数据平台的技术架构一定不是传统的一种技术支持多种应用，而是多种技术支持多种应用，以混搭的模式构建大数据平台。 平台目标架构与组件应用示意分别如图3和图4所示： 图3 电信运营商大数据平台技术架构图 图4 各类大数据技术应用示意图 （1）数据采集层。大数据平台数据采集层是对B域（业务支撑域）、O域（网管支撑域）、M域（管信支撑域）、内部业务系统和互联网数据进行统一采集，确保大数据平台作为企业唯一的数据资产中心，避免数据重复采集、重复存储的风险。1）互联网数据采集：一般通过在大数据平台内部署爬虫服务器，根据URL进行网页的下载，获取数据。2）内部数据采集：一般采用Flume采集方式，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，其数据发送方（静态日志、实时日志等）、数据传输通道（硬盘或内存）和数据接收方（Hadoop、流计算等）均可定制。 （2）数据处理层。大数据平台数据处理层是实现电信运营商所有数据资产的统一预处理、存储和计算，挖掘