运营商数据平台建设的研究.docxVIP

运营商数据平台建设的研究栾大为 刘伟君 / 文摘要 ：近几年来，云计算、大数据技术风起云涌，对各行各业都带来了巨大的变革和深远的影响。黑龙江移动也顺应技术发展潮流，推动公司内部大数据技术的应用，本文介绍了本公司目前已经实现的大数据技术应用落地情 况，并进一步研究数据平台的建设思路。关键词 ：大数据 ；数据平台 ；分布式数据库中图分类号 ：TN929.5 文献标识码 ：B 文章编号 ：1672-6200（2014）04-0061-04信息监测、信令监测、经营分析等系统大多都是分专业建设。造成资源存在重复性建设，应用开发重复性工作比较多，专 家资源共享差。数据存储分散，数据标准化程度低也是个大 问题。各个业务系统的大数据平台建设都有各自的数据模型， 而跨系统数据读取，综合数据分析，数据调用的需求越来越 多。运营商数据库目前更多以传统架构为主，基本上都是关 系型数据库，建设成本高。由此，运营商需要建设低成本、 高扩展能力的新型大数据架构取代传统的数据架构。2.2 传统数据仓库在大数据时代面临的挑战传统数据仓库成本居高不下 ；而处理数据量的能力在 GB~TB 层面为主 ；可扩展能力不强 ；处理数据能力、数据共 享能力等各方面都存在不足。随着半结构化、非结构化数据、 互联网数据等新型数据源的引入以及分析需求对分析深度和 广度的要求不断增加，电信运营商越来越需要大数据技术。 主要分析如下 ：数据规模方面 ：GPRS 流量话单的条数和数据量已经超 过了语音详单，而位置信令、Gn 信令、客服语音、互联网外 部数据等规模更大，且还处于不断增长的趋势。数据类型方面 ：逐步从 OLTP 系统中获得的结构化数据， 过渡到结构化数据和互联网网页、上网日志等非结构化数据 和半结构化数据共存。对数据的使用方面 ：不仅有批量的数据加工和前台界面 的访问，临时统计、数据挖掘等访问需求也逐步增多。对历 史明细数据的访问增多。对数据访问的及时性增强。随着数据平台越来越具备大数据平台的特征，利用传统 的单一数据仓库技术就难以满足高效低成本的需求，需要引 入相应的大数据技术。2.3 大数据时期数据平台的技术演进路线针对非结构化数据的处理需求，引入处理异构数据的技1 大数据技术的发展及其影响近几年来，伴随着互联网、移动互联网的飞速发展，用户上网越来越便捷。互联网接入，从 Modem56K 传输速率 的拨号上网，到 ADSL 的 2M 接入，到光纤入户的 4M 接 入，再到城市化宽带 10M 的提速，互联网带宽不断的提高。 移动互联网技术快速发展，从 2G 到 3G，乃至 4G，网速大 大提升，移动终端智能化程度的提高，移动终端普及率的加 大，都带动了互联网流量的产生，而且同等时间内产生的信 息量更多了。同时，由于互联网公司诸多业务的创新，社交、 娱乐、电商、微博、微信等，激发了用户使用互联网的兴趣。 以上种种，都带动了互联网流量的激增。据统计，现在每两 年产生的数据量就是过去历史数据积累的总和，也就是说， 数据量在以每两年翻一番的速度递增。由此，大数据技术应运而生，并且呈势不可挡之势迅速 发展。大数据，是指无法在一定时间内用传统数据库软件工 具对其内容进行抓取、管理和处理的数据集合 [1]。并具有数 据量庞大、数据复杂（结构化数据、半结构化数据和非结构 化数据等）、数据价值密度低、数据信息获取需要实时性等关 键特征。大数据技术就是为解决大数据时代的到来所产生的 一系列问题，比如数据的存取、数据的计算、数据查询和数 据挖掘等。2 运营商数据平台技术研究2.1 统一数据平台建设的必要性运营商系统建设普遍较分散，数据标准化程度较低，需 要建设一个规范化的统一的大数据共享平台 [2]。分散建设的 业务系统，导致资源共享、应用共享都很困难。一些基于大 数据系统的建设，比如综合网络分析、上网日志留存、不良通信管理与技术 2014 年 8 月 第 4 期61Technical Exchanges 技术交流术，支撑大数据时代对数据的处理能力，使数据变为资产成为可能。以下是各种数据平台架构的分类。2.3.1 割裂式混搭架构所谓的割裂式混搭架构 [3]，就是在保留关系型数据库的 同时，引入 Hadoop 和分布式数据库技术，主要是以关系型 数据库处理结构化数据，以 Hadoop 处理非结构数据。代表 公司有 EBay 和 KDDI 等。2.3.2 混搭架构加之深度定制化部件Hadoop 实现海量结构化和非结构化存储，分布式数据 库解决高速访问存储和部分实时计算，基于 NoSQL 解决特 定业务场景问题。代表公司有阿里巴巴的淘宝等。2.3.3 Hadoop 深度定制架构围绕 Hadoop 生态圈进行深度定制和优化，代表公司有 腾讯和百度等。2.3.4 自主研发架构通过自