大数据技术在移动通信计费领域应用探究.docVIP

大数据技术在移动通信计费领域应用探究 　　【摘 要】随着移动终端的日益普及和扩展，系统需要处理的计费话单量迅猛增长，给系统处理能力带来了巨大挑战，而传统的策略——升级硬件和优化应用存在很大的局限性。针对这一问题，结合某移动通信公司核心计费系统，提出了将大数据技术应用于海量计费话单处理的解决方案，并通过实验验证了该方案在性能上的优势。 【关键词】大数据 云计算 移动通信 漫游 计费 中图分类号：TP311 文献标识码：A 文章编号：1006-1010（2013）-15-0041-06 1 背景 大数据是IT领域近年来的热门议题，频繁地出现在各种行业会议、学术期刊、专业文献中，被业内人士和非专业人士在不同场合提及。那么，到底什么是大数据呢？根据Wiki百科的定义：大数据是规模和复杂度达到一定程度，以至于无法使用主流数据库管理工具和传统数据处理程序进行处理的数据集合[1]。 大数据技术的出现与发展符合唯物辩证法中量变和质变的规律。随着数据量日益增大，传统的数据存储、处理和分析技术已经越来越难以用户的竞争需求。在这种情况下，基于分布式云计算的大数据技术的出现便是大势所趋了。大数据和云计算之间的关系可以用一句话概括：云计算是大数据的技术基础，大数据为云计算提供价值实现。云计算的核心技术，如虚拟化、MapReduce编程模型、分布式存储技术、海量数据管理技术等，为大数据问题的解决提供了强大的技术支持。 对于大数据的核心问题域，业界主要用4V理论进行分解，具体如下： （1）量（Volume）：计算量和存储量大； （2）多样性（Variety）：来源多样、形式多样； （3）速度（Velocity）：实时快速分析处理； （4）价值（Value）：低价值密度。 除了上述的4V，安全也是大数据的重要议题。本文将以4V中的第一个V，即海量数据的计算与存储作为主要问题进行探讨和分析，并结合实际业务系统的应用场景进行方案设计、性能比较和ROI（Return On Investment，投资回报率）分析。 移动通信行业是国家的支柱行业，每天有数以亿计的用户通过移动终端（主要是各种手机）进行通信，在此过程中产生了海量的计费话单；并且随着业务的扩展，其规模仍在以惊人的速度增长。这使得传统的小型机应用集中式处理模式的性能瓶颈日益显现，同时也为大数据分布式技术架构提供了切入的契机。 2 系统简介 计费是移动通信公司的核心与生命线，它关系到企业各个业务的营收，所以，计费系统的稳定运行是移动通信公司运营发展的基石。在移动通信领域中，需要进行计费的内容繁多，各省市公司针对本地用户通信的计费、省际用户漫游计费、国际用户漫游计费以及新兴的物联网计费等。针对这些计费需求，往往都会建设专门的计费系统，以处理交换机采集上发的海量话单，而随着移动终端的日益普及和扩展，这些系统需要处理的计费话单量还在以迅猛的数量增长，给系统处理能力带来巨大的挑战。在传统的小型机集中式应用架构下，应对性能瓶颈的策略不外乎升级硬件和优化应用，但是这两种策略都有其局限性，升级硬件一般伴随着昂贵的升级费用，性能提升却往往有限，而应用优化策略也常常受既有软硬件架构的限制，无法达到理想的效果，有时甚至要以牺牲功能为代价。 本文中所提到的计费系统（以下简称C系统）是典型的小型机集中式应用架构，其核心硬件架构如图1所示。 C系统的核心部分由一台传输主机trans_host、两台处理主机proc_host_1和proc_host_2以及两台数据库服务器db_server_1和db_server_2组成，其中trans_host主要是用于接收各省上发的文件，同时将两台处理机生成的下发文件传给各省的传输主机，proc_host_1和proc_host_2的主要工作则是对话单文件进行分拣、查重，生成下发各省的话单文件并将话单入库。 3 现状分析 本文以C系统处理机的后台数据处理（如图2）作为主要研究对象，其中灰色模块是系统的核心部分，其关键工作模块包括校验、查重、结果发布等，而其中的资费校验、查重和结果是主要的性能热点。 校验主要包括： （1）话单格式校验：对话单的每个字段格式进行检验，检查是否符合业务要求。对于每一种和业务要求不符的错误都有对应的错误编码，如果话单格式校验中发现错误则需要返回对应的错误代码及信息。 （2）话单资费校验：检验话单记录中的费用字段是否符合业务定义的资费标准。 话单查重就是对经过文件级检验和话单级校验处理后的话单，和历史已经处理过的话单进行比较，如果发现当前话单的查重关键字段和历史话单完全相同，则被认为是重复话单，应该返回重单错误。重单的检测范围包括历史处