基于云计算技术电信经营分析系统中对海量数据研究.docVIP

基于云计算技术电信经营分析系统中对海量数据研究 　　摘 要：电信经营分析系统承担着决策支撑的重要职能，面对越来越多的海量数据，如何有效处理这些海量数据从而提取有价值信息是面临的一大突出问题，利用云计算技术解决这些问题是一种新的有效的途径。针对电信经营分析系统中（简称BASS）现有存储、处理和ETL算法的不足，结合云计算技术提出了分布式海量数据存储、Hbase海量数据管理、Map/Reduce编程模式、以及基于拆分机制的海量数据处理（简称SMB-DP）算法和基于任务运行时间和优先级的ETL任务调度（简称AGB-ETL）贪婪算法，本文着重从这几个方面对现有经分系统进行改进和优化。 　　关键词：云计算技术；电信经营分析系统；海量数据；分布式存储、 SMB-DP算法；AGB-ETL算法 　　中图分类号：TP311.13 　　随着信息技术的高速发展和普及，各个领域都积累了海量的数据并且还在迅速增长，数据量动辄以Tbyte计。海量数据持续消耗着计算机软硬件资源，资源的无限制扩张，使得单个计算机无法承担起相应的重任。目前电信行业在数据分析的支撑方面注意面临三个突出的问题，一是电信业发展到今天，历史数据的存储需求和电信业务量的不断增大，电信运营商的数据已经变成海量，中等规模的省级移动公司，每天的数据增长已经达到2-3TB，如此海量的数据需要计算机具有极强的处理能力和足够大的存储空间；二是各级运营商都是各自为阵，配备硬件设备和存储数据资源，造成了计算资源和存储资源的严重浪费；三是现有的数据库查询功能已经满足不了电信行业竞争日益激烈的决策支撑和服务。电信经营分析系统（BASS）作为电信业务支撑系统的一个主要支系统，数据的分析处理和挖掘对电信业务的发展起着重要作用，利用云计算平台，整合优化资源，形成具有超级计算能力的资源池，提高资源利用效率，处理数据并为用户提供服务。 　　1 经营分析系统概述 　　1.1 经营分析系统简介 　　电信经营分析系统是电信运营商的核心系统之一，通过对底层数据的抽取、处理、装载，实现数据的界面化展示，主要展示公司KPI指标，满足企业决策需求和业务支撑发展的需要。 　　电信BASS采用两级系统架构，由位于集团公司一侧的一级BASS和位于省公司一侧的省级BASS共同组成，两级系统之间通过一定数据通信网进行数据通信。如图1所示。 　　1.2 电信BASS面临的不足和挑战 　　目前电信BASS系统还是以指定数据库服务器为载体进行数据的运算和装载，但由于业务发展的需要和对数据分析要求的不断提高，目前BASS系统主要面临以下几个突出的问题： 　　（1）依靠单服务器存储数据的模式已经不能适应海量数据的急剧扩张，无法承载如此高的数据量。 　　（2）海量的数据源无法做到资源共享，经典的数据分析案例很难被借鉴和参考。 　　（3）服务器一旦出现故障，经分系统将会立即瘫痪。 　　（4）底层数据的存储和导入目前还需人工处理，因人工导入数据需要一定的周期性，所以无法满足经分系统实时访问最新数据的需求。 　　1.3 电信BASS海量数据产生的原因 　　为了适应通信业日益发展的需要，电信BASS系统面临着海量数据如何高效存储和处理的挑战，电信BASS海量数据产生的原因如下： 　　（1）现有数据随着时间的推移和业务的发展，数据信息每天都在不断增加，如客户资料信息，语音通话信息，短彩信发送信息，数据流量信息等。运营商需要将这一系列数据进行数据挖掘，提取有价值的营销资源信息，为业务发展提供更好的决策支撑。 　　（2）运营商期望充分运用已有历史数据挖掘新的商业契机与营销机会，也就意味着历史数据将会为运营商提供大量的潜在价值信息，历史数据中往往蕴含着有利用价值的潜在市场发展规律、包括市场发展的潜在危机和市场发展的重大机遇，因此需要将大量历史数据进行长期保存。 　　2 云计算的特点 　　（1）超大规模集群：集群可以将本地及异地的计算机资源有效的整合起来，形成具有一定规模计算能力的资源池，提高设备计算能力。 　　（2）分布式存储：大量的数据信息存储在云端物理位置相互隔离的主机当中，提高了数据的存储性能、安全性能和容灾备份性能。 　　（3）高扩展性：云端计算集群的规模可以动态伸缩，按需提供服务，实时满足计算的需求。 　　（4）低成本：云处理实际上是大幅提高云端设备的处理性能，客户端的处理性能则要求不是很高，对企业来说，无疑大幅减少了成本支出。 　　3 基于云计算技术的经营分析系统 　　基于云计算的经营分析系统不但改变了以往依靠单一服务器存储、计算的服务模式，而且提高了资源的利用效率和节约了企业成本，涉及的关键技术主要包括数据存储、数据管理、编程模式等，解决的主要问题是海量数据如何存储、海量数据如何索引和定位，海量数据如何抽取、海量数据如何更有效的运算。 　　3.1 海