cProc江苏动云信令平台成功案例.docVIP

移动云信令平台案例 一、项目背景 截至2011年第二季度，全国手机用户量已达到9.6亿，并且随着3G网络的推广，手机用户量还在不断攀升。与此同时，每天手机网络产生的移动信令数据量也在上升。目前，每天仅语音业务产生的信令数据量就高达几百TB，每月产生的信令数据量高达数PB。如果想从这么大量的数据中查找所需要的信息，会是一件非常困难的事情。如此海量的数据难以保存在集中式的数据存储系统和常规的关系型数据库中。为了解决目前海量数据存储的困难，提高海量数据查询速度，江苏移动开展了移动信令平台项目。移动信令平台具有数据量大，数据类型复杂。同时为了能够快速正确分析移动网络性能并对网络故障进行快速定位，系统还要求具有快速的查询和容错能力，保证系统7*24小时提供搜索服务。 根据这些要求信令平台需要具备如下功能和特点： 支持海量数据的实时入库 采用大量机器组成的云平台，能够提高对海量数据的快速入库，入库速度高达千兆每秒。 支持海量数据的实时索引 能够实时监控入库的新数据，并对其建立具有高效查询速度的索引，达到高速检索。 支持海量数据的快速查询 能够将用户的查询任务分解到平台的各个机器上，实现分布式并行计算，从而高效的利用系统资源，能够快速响应用户查询请求。 系统具有高度容错性 当任意一台机器宕机，系统能够自动分配新的机器接替宕机机器的任务，从而实现系统的高度容错，保证了结果的正确性。 系统具有高度可伸缩性 平台能够通过动态的添加机器，达到吞吐量和用户相应时间的线性增长。 二、移动云信令平台解决方案 信令数据的网络优化是一项技术难度大、涉及范围广、人员素质要求较高的工作，并且是一个长期的过程。网络容量的不断发展，网络用户数量的不断增加，网络设备的不断更新给网络优化提出了更高的要求。路测是当前实际网络优化过程中最有效的手段，它可以实现对测试过程中收集的数据进行分析，找出问题所在，不断对系统进行优化，最终达到系统在大业务量时稳定运行的目的。但是由于通信业务的数量和复杂程度的不断加大，海量的路测数据的处理和分析成为制约路测技术的最主要瓶颈。现在很多行业都面临着海量数据的存储和处理，摆在我们面前的是一个非常严峻的考验。针对于移动行业信令海量数据的特点和要求，提出以下解决方案： 1平台解决方案架构 在中国移动提供的计算资源池上，申请若干X86架构计算/存储节点，虚拟出海量存储空间、处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足信令合成、索引、查询、指标分析、专题分析、深度数据挖掘等应用需求。 信令共享平台是一个处于信令采集与信令监测应用之间的系统。从系统基本组成与构架上来看，该共享平台由7个主要部分组成：信令数据合成处理系统，信令数据订阅系统，实时跟踪系统，信令数据存储系统，信令数据查询分析应用系统，网络管理系统以及系统管理。cProc云处理平台应用在信令数据查询分析应用系统中。 信令共享平台的基本组成与构架 2 海量数据入库设计 将大量的合成数据存储到由大量X86架构计算机构成的具有良好可靠性和可扩展性的分布式云计算机平台上，能够对PB级的信令数据进行实时监测处理，提供实时查询分析等多种业务的支持，能够对数据建立实时的索引，处理速度高达每秒千兆。整体入库采用分布式多点入库，整体架构如下图 cProc能够实时监控新产生的数据文件，并对其建立相应的索引文件，独有的分布式调度技术，可以很好的协调各个机器之间的负载，保证了整体的性能。 同时入库的数据需要有备份机制，那么采用HDFS中的副本管理机制，可以根据配置文件，自己设定副本个数，而且HDFS可以根据文件被访问量来自动调整副本的个数，以加快文件读取的性能。通过该副本管理机制可以完全解决数据备份和容灾，任意节点宕机数据不会丢失，查询功能不会停止服务。 3信令查询功能设计 信令数据查询分析应用主要提供包括信令数据查询、指标业务数据查询、核心网分析、网络优化分析、终端专题分析查询、信令专题分析查询、用户专题分析查询等功能，以及相关的报表处理等功能。 信令查询处理时，由于信令数据量巨大，难以存储在常规的关系数据库中，而如果直接存储在HDFS或HBase中又难以保证查询效率。为此，需要考虑对信令数据进行索引处理，并将索引数据存储在HDFS或Hbase中。为了建立信令索引，需要在信令数据传送到云存储系统中时，进行实时的索引处理。那么通过数据立方对元数据信息进行数据分析、清理、分割之后，将索引文件散乱存储在云存储系统上，可以大大提高数据查询和检索的性能。 但是由于信令数据流量巨大，需要调度使用多台服务器节点进行并行处理。同样，5分钟以上时间粒度的指标统计数据计算、以及各种专题数据的计算也需要进行并行处理。此外，用户从客户端发起以上各种数据查询分析任务时，