移动云信令平台解决方案.docVIP

移动云信令平台 解决方案 一、项目背景 截至 2011 年第二季度，全国手机用户量已达到 9.6 亿，并且随着 3G 网络的 推广，手机用户量还在不断攀升。与此同时，每天手机网络产生的移动信令数 据量也在上升。目前，每天仅语音业务产生的信令数据量就高达几百 TB，每月 产生的信令数据量高达数 PB。如果想从这么大量的数据中查找所需要的信息， 会是一件非常困难的事情。如此海量的数据难以保存在集中式的数据存储系统 和常规的关系型数据库中。为了解决目前海量数据存储的困难，提高海量数据 查询速度，某移动开展了移动信令平台项目。移动信令平台具有数据量大，数 据类型复杂。同时为了能够快速正确分析移动网络性能并对网络故障进行快速 定位，系统还要求具有快速的查询和容错能力，保证系统 7*24 小时提供搜索服 务。 根据这些要求信令平台需要具备如下功能和特点： 1. 支持海量数据的实时入库 采用大量机器组成的云平台，能够提高对海量数据的快速入库，入库速度高 达千兆每秒。 2. 支持海量数据的实时索引 能够实时监控入库的新数据，并对其建立具有高效查询速度的索引，达到高 速检索。 3. 支持海量数据的快速查询 能够将用户的查询任务分解到平台的各个机器上，实现分布式并行计算，从 而高效的利用系统资源，能够快速响应用户查询请求。 4. 系统具有高度容错性 当任意一台机器宕机，系统能够自动分配新的机器接替宕机机器的任务，从 而实现系统的高度容错，保证了结果的正确性。 5. 系统具有高度可伸缩性 平台能够通过动态的添加机器，达到吞吐量和用户相应时间的线性增长。 二、移动云信令平台解决方案 信令数据的网络优化是一项技术难度大、涉及范围广、人员素质要求较高的  工作，并且是一个长期的过程。网络容量的不断发展，网络用户数量的不断增加， 网络设备的不断更新给网络优化提出了更高的要求。路测是当前实际网络优化过 程中最有效的手段，它可以实现对测试过程中收集的数据进行分析，找出问题所 在，不断对系统进行优化，最终达到系统在大业务量时稳定运行的目的。但是由 于通信业务的数量和复杂程度的不断加大，海量的路测数据的处理和分析成为制 约路测技术的最主要瓶颈。现在很多行业都面临着海量数据的存储和处理，摆在 我们面前的是一个非常严峻的考验。针对于移动行业信令海量数据的特点和要 求，提出以下解决方案： 1 平台解决方案架构 在中国移动提供的计算资源池上，申请若干 X86 架构计算/存储节点，虚拟 出海量存储空间、处理能力和数据管理能力。同时研制面向应用的分布式数据处 理软件，满足信令合成、索引、查询、指标分析、专题分析、深度数据挖掘等应 用需求。 信令共享平台是一个处于信令采集与信令监测应用之间的系统。从系统基本 组成与构架上来看，该共享平台由 7 个主要部分组成：信令数据合成处理系统， 信令数据订阅系统，实时跟踪系统，信令数据存储系统，信令数据查询分析应用 系统，网络管理系统以及系统管理。cProc 云处理平台应用在信令数据查询分析 应用系统中。 图 1 信令共享平台的基本组成与构架 2 海量数据入库设计  将大量的合成数据存储到由大量 X86 架构计算机构成的具有良好可靠性和 可扩展性的分布式云计算机平台上，能够对 PB 级的信令数据进行实时监测处理， 提供实时查询分析等多种业务的支持，能够对数据建立实时的索引，处理速度高 达每秒千兆。整体入库采用分布式多点入库，整体架构如下图所示： 图 2 整体架构图 cProc 能够实时监控新产生的数据文件，并对其建立相应的索引文件，独有 的分布式调度技术，可以很好的协调各个机器之间的负载，保证了整体的性能。 同时入库的数据需要有备份机制，那么采用 HDFS 中的副本管理机制，可以 根据配置文件，自己设定副本个数，而且 HDFS 可以根据文件被访问量来自动调 整副本的个数，以加快文件读取的性能。通过该副本管理机制可以完全解决数据 备份和容灾，任意节点宕机数据不会丢失，查询功能不会停止服务。 3 信令查询功能设计 信令数据查询分析应用主要提供包括信令数据查询、指标业务数据查询、核 心网分析、网络优化分析、终端专题分析查询、信令专题分析查询、用户专题分 析查询等功能，以及相关的报表处理等功能。 信令查询处理时，由于信令数据量巨大，难以存储在常规的关系数据库中， 而如果直接存储在 HDFS 或 HBase 中又难以保证查询效率。为此，需要考虑对信 令数据进行索引处理，并将索引数据存储在 HDFS 或 Hbase 中。为了建立信令索  引，需要在信令数据传送到云存储系统中时，进行实时的索引处理。那么通过数 据立方对元数据信息进行数据分析、清理、分割之后，将索引文件散乱存储在云 存储系统上，可以大大提高数据查询和检索的性能。 但是由于信令数