基于SPARK信令数据实时处理平台设计.docVIP

基于SPARK信令数据实时处理平台设计 　　摘 要 电信运营商在以信令数据为基础，结合DPI数据、EDA域其他数据洞析位置数据应用价值的探索中，面临着数据处理效率低下的问题。通过分析数据处理效率低下的原因，结合信令数据的特点，基于开源实时计算技术Spark Streaming构建实时计算平台，提升信令数据处理效率。通过实时计算平台，使得电信运营商具备信令数据的实时分析能力。 　　【关键词】信令数据 实时计算 Spark Streaming 　　1 引言 　　电信运营商在以信令数据为基础，结合DPI数据、EDA域其他数据洞析位置数据应用价值的探索中，由于数据量巨大，采用当前应用比较普遍的Oracle、DB2等数据库技术已不能满足业务的时间要求。同时，随着电信运营商正在推行去“IOE”，因此电信运营商迫切需要采用新的IT手段解决当前面临的业务需求，同时降低硬件投资成本。本文围绕开源实时计算框架Spark技术，根据信令数据的特点，构建实时计算平台，达到满足业务部门对数据的实时需求，同时降低IT投资成本的目标。 　　2 实时处理平台设计 　　2.1 基本要求 　　信令位置数据需要实时的完成采集、数据分析环节，最终将分析结果提供给业务人员或者系统调用。必须满足的基本要求如下： 　　能实时的（10秒～1分钟内）处理用户产生的位置更新数据。 　　能随着数据规模的变换动态调整实时处理平台的规模，且不影响线上的实时应用。 　　能保证99.99%的平台稳定性。 　　支持TCP、Socket、文件等常见的数据接收方式。 　　支持Redis、HBase等常见的数据存储及即时调用方式。 　　2.2 平台设计 　　2.2.1 平台功能架构 　　实现信令数据的实时分析，必须具备实时采集、实时处理、实时调用功能。通过统一任务调度框架进行任务调度。实时计算平台功能架构如图1所示。 　　2.2.2 数据采集 　　数据采集功能主要是实时的将用户产生的位置更新数据安全、有效、快速的推送到实时计算引擎进行分析。 　　2.2.3 数据处理 　　数据处理功能主要是采用实时计算引擎对信令数据进行深度分析，最终形成结果数据。 　　2.2.4 数据存储 　　分析得到的结果数据最终实时的保存在键值数据库中，供业务人员和系统实时调用。 　　3 实现技术 　　3.1 硬件平台 　　实时计算引擎需要进行频繁的通讯和算法处理，数据采集需要进行实时的数据接收和转发，数据存储需要进行实时的数据接收和实时调用，对底层基础硬件的通讯和运算速度要求很高，同时需要满足分布式、动态扩展的要求，因此采用配置为2路8核 CPU、128GB内存、万兆网卡的x86架构PC Server服务器。 　　3.2 平台软件 　　操作系统软件采用Red Hat，实时数据采集采用Flume-NG，实时计算引擎采用Spark Streaming，实时数据写入Redis。 　　采用HAProxy+Keepalived+Flume-NG构建高性能高可用分布式数据采集系统。 　　采用Spark Streaming组件，以Spark On Yarn的yarn-cluster方式构建实时计算引擎。Spark Streaming的原理是将流式计算分解成一系列短小的批处理作业，如图2所示。 　　Redis是一个高性能的key-value数据库。采用Redis主从架构，保证数据实时调用的稳定性。 　　3.3 实时应用开发 　　数据实时采集模块：信令位置数据通过TCP接口方式发送到Flume-NG集群，Flume-NG通过memory数据传输方式，将接收到的数据实时的通过org.apache.spark.streaming.flume.sink.SparkSink方式发送到Spark Streaming处理程序中。 　　数据实时处理模块：信令数据实时处理需要实现StreamingContext和FlumeUtils.createPollingStream接口，前者初始化一个Spark Streaming实例，后者实现一个Spark Streaming从Flume-NG中以“拉模式”获取数据的接口。通过foreachRDD方法处理每次获取的数据，根据需要实现的业务逻辑开发Spark Streaming程序，最后打成jar包。 　　数据存储和调用模块：数据保存在Redis中，首先需要对Jedis对象进行初始化，然后调用del和lpush等命令进行数据的删除、插入等操作。数据的调用通过redis从节点完成。 　　将已打成jar包的Spark Streaming程序分发到Spark接口机，通过spark-submit命令以yarn-cluster方式提交到实时计算平台。 　　4