运营商大数据服务平台和典型应用模式研究.docVIP

运营商大数据服务平台和典型应用模式研究 　　【摘 要】在互联网时代，随着大数据相关新技术和新应用的迅猛发展，给电信运营商带来流量收益的同时也带来了新的机遇和挑战。通过结合大数据的技术现状以及电信运营商的数据特点，提出一种弹性开放的运营商大数据服务平台体系架构，并对运营商大数据的典型应用模式进行了研究。 　　【关键词】运营商 大数据 服务平台 体系架构 应用模式 　　doi：10.3969/j.issn.1006-1010.2016.04.018 中图分类号：TP399 文献标识码：A 文章编号：1006-1010（2016）04-0092-05 　　引用格式：沙甲戊. 运营商大数据服务平台与典型应用模式研究[J]. 移动通信， 2016，40（4）： 92-96. 　　1 引言 　　随着互联网以及物联网等信息技术的飞速发展，相应产生的信息数据量也呈现爆发式增长。电信运营商拥有大规模运营网络和庞大的IDC（Internet Data Center，互联网数据中心）集群，具备优质的管道优势和数据资源优势。面对海量的数据资源，如何挖掘和利用其价值成为了电信运营商面临的关键课题。 　　2013年Informa Telecoms Media公司对全球范围内的120家运营商进行了调查，调查报告显示，其中约有48%的运营商已经部署了大数据相关业务。另外，国内一些大的互联网公司也都已经构建了相关的大数据平台，如阿里巴巴集团建立基于Hadoop技术的大数据平台“云梯”；百度公司也整合自身业务的所有相关数据，建立大数据平台实现数据的集中存储和处理。 　　运营商大数据服务开放平台是有效利用大数据的重要基础。运营商大数据服务平台应该具备弹性可伸缩的资源分配能力，能够根据上层业务的需求动态地增加或减少基础资源。运营商大数据处理任务通常既是数据密集型的，又是计算密集型的，因此高效的分布式计算框架是保障大数据服务执行效率的重要支撑手段。大数据业务模式种类繁多，既有针对电信运营商的业务，也有针对第三方需求的业务，而且新的业务模式层出不穷，因此大数据服务平台需要提供灵活业务部署能力。运营商大数据服务的目标是要形成一系列大数据服务应用，一方面可以提升运营商自身的管理和运营能力，另一方面能够创造新的价值增长点。本文首先提出一种弹性开放的运营商大数据服务平台体系架构，然后对运营商大数据的典型应用模式进行探讨。 　　2 运营商大数据服务平台 　　2.1 大数据服务平台体系架构模型 　　运营商大数据服务平台的总体目标是构建统一开放的数据采集、存储、处理与应用的软硬件环境。平台能够从海量异构数据源获取数据，包括运营商内部数据以及外部第三方数据，并能够保证海量数据的存储与计算性能，面向不同的运营部门以及第三方用户提供多种大数据服务。运营商大数据服务开放平台的功能体系架构如图1所示，包括数据源层、数据采集层、数据存储层、数据分析及处理层、数据汇聚层、数据服务层、用户应用层以及平台管理系统。 　　（1）数据源层。电信运营商自身所拥有的数据非常丰富，这些数据涉及的范围广、维度丰富、信息量大，可以为大数据服务平台提供充分的数据支撑。其数据主要包括：固定网络的信令数据和用户的全量信息、移动网络的信令数据和用户的全量信息、运营商的BSS（Business Support System，业务支撑系统）/OSS（Operation Support System，运营支撑系统）/MSS（Management Support System，管理支撑系统）/CRM（Customer Relationship Management，客户关系管理系统）/OCS（Online Charging System，在线计费系统）等信息系统的业务数据以及通过多种途径获得的第三方数据资源。 　　（2）数据采集层。通过业务数据库标准接口、FTP（File Transfer Protocol，文件传输协议）、爬虫等方式集中采集固网/移动的DPI（Deep Packet Inspection，深度包检测）信息、BSS/OSS/MSS等电信业务系统数据以及第三方数据等，通过ETL集群将数据进行抽取、转换、加载至大数据平台的存储层中，支持对结构化、半结构化、非结构化等多格式数据源的采集，同时满足周期性/实时/定时等采集方式的要求。 　　（3）数据存储层。实现对采集来的多种类型大数据的分布式存储。面对数据结构的多样性以及数据存储需求的变化，传统的以结构化为主的单一数据库已经不能满足要求，这就需要OldSQL（传统数据库）+NewSQL（新型数据库）+NoSQL+其他（内存数据库、缓存）为大数据平台共同提供数据存储服务。同时，数据存储层还应该有效地支撑海量数据的分析。基于Shared Noth