运营商大数据技术及的应用.docVIP

运营商大数据技术及的应用 　　【摘要】 随着“互联网+”概念的提出，数据成为企业乃至国家的战略资产。如何处理和应用好海量的数据是运营商当前要面临的主要问题。本文从大数据的发展现状入手，通过对主流大数据技术和运营商应用的分析，可对大数据系统建设和应用予以参考和指导。 　　【关键词】 大数据 互联网+ hadoop 　　一、引言 　　随着互联网、物联网、车联网的快速发展以及手机、平板电脑等各种智能终端的普及带来了数据量的爆发式增长，数据逐步成为企业乃至国家的战略资产。在国家层面，大数据技术事关国家安全和未来，成为大国博弈的另一空间。2012年3月29日，美国政府宣布了“大数据研究和发展倡议”，以推进从大量的、复杂的数据集合中获取知识和洞见的能力，投资总共超过2亿美元，来大力推动和改善与大数据相关的收集、组织和分析工具及技术，这也是大数据技术从商业领域上升到国家战略高度的开端。 　　2015年中国政府提出“互联网+行动计划”，互联网化已经成为各个传统行业升级和创新商业模式的最重要的议题，互联网+时代的到来，不仅在改善和提升用户体验上发挥作用，更会重构已有的商业模式。互联网+对传统产业的改造，将诞生海量的数据资产，所带来的一个共同点就是大数据将成为推动行业创新的驱动引擎。不久的将来，全新的数据商业时代将开启。 　　无论哪种智能终端，上网都要经过运营商管道；运营商可以获取包括淘宝、腾讯、百度等各种平台的数据。随着4G数据时代的到来，运营商将获得更加完备的资源，这个“大数据”主要是大量的用户行为数据，能否挖掘出这些数据的价值将决定能否把握住大数据带来的机遇。 　　二、大数据时期运营商的影响与挑战 　　越来越多的行业被移动互联网进行渗透，带来大数据的黄金时代，诸如：医疗、教育、娱乐、旅游、出行等，这将带动大量的用户行为和信息及各类大数据。我们认为，现在大数据可能已经达到增长的拐点，未来大数据将出现井喷。根据爱立信的报告，2020年的大数据产生量将接近目前的10倍。而大数据的激增以及各类大数据的融合使得大数据的大规模商业化和落地变得可能。 　　目前非结构化数据已接近总数据的 90%，而非结构化大数据的分析仍处于开始阶段，未来大数据的价值挖掘及变现将是高速发展的领域，将造就千亿级以上市场，而其中将诞生大量机遇以及机会。[1] 　　通信大数据已迎来黄金时代，15年是运营商大数据的推进年。截止2015年底中国网民规模达6.68亿，手机上网人群占比88.9%。运营商基本于2012年开始进行大数据布局，在经过3年多的大数据积累后，这些大数据的价值需要兑现。从运营商诉求看，传统业务下降明显，运营商亟需拓展新业务。 　　三大运营商在大数据的进展上略有差异。电信进展最快、联通次之、移动进展相对较慢。中电信大数据布局迅速主要是依靠之前固网宽带和IPTV业务，使得其在移动互联时代之前已有大量数据并已开始进行采集和分析，无论是在数据的广度还是范围上均有优势，其应用进展相对较快。 　　大数据给运营商相关技术带来极大挑战，主要是数据的管理、采集、分析不足。数据量的增加使得运营商传统的处理数据和存储压力增大，数据类型的多样化使得传统数据处理窗口难以处理。另外，运营商知道用户访问过哪些网站，但是不知道用户究竟看了哪些内容；或者知道用户在哪个地址，但是不知道用户在哪个地点。在数据分析方面，运营商希望复合关联，希望快速实施，但事实上，现有的DPI的分析仅仅用了几张报表。数据散落在各种系统中无法进行有效的采集、分析。海量的半结构化和非结构化的数据大大降低了数据处理的效率，给运营商带来了巨大的数据存储和读写压力。如若不能缩短数据处理的周期，很多数据的价值都会被极大地稀释。 　　在运营商中，传统数据包括IT支撑系统数据、电子渠道及商务数据、网络资源及运维数据和增值业务衍生及内容数据等。这些数据大部分都是结构化数据，存储在传统数据库中，随着日志数据、各种流媒体数据、物联网数据等半结构化和非结构化数据越来越多，传统厂商将Hadoop、MPP技术逐渐融入到传统数据库中。未来大数据平台将超越传统智能分析层面，从应用、角色角度回去找数据、统计建模并最终提供知识，这必将为运营商传统IT支撑系统的各个域产生重要影响，要求运营商结合自身的业务特性、系统特性、管理诉求，在大数据环境下研究企业业务应用及管理需求，如智能流量支撑、大服务支撑、电子商务/精细化商品营销支撑、精细化资源管控支撑等对数据的要求，对企业级数据进行管理和经营，建立符合电信运营商的大数据框架。 　　三、 大数据在IT支撑系统应用存在的问题 　　目前各运营商在大数据应用中都有一定的探索，但还处于初期阶段，也暴露的诸多问题： 　　1.数据层面：数据没有全量采集与接收，缺乏集中统一的数据处理。2、平台层面