基于SparkR的大数据分析平台设计.docVIP

基于SparkR的大数据分析平台设计 　　摘 要电信运营商在以DPI数据为基础，结合IT系统数据、网元平台数据刻画用户特征的过程中，面临着数据分析与挖掘效率低下的问题。通过分析数据挖掘效率低下的原因，结合DPI数据的特点，基于开源大数据分析与挖掘技术SparkR构建大数据分析平台，提升用户行为分析与挖掘的效率。通过大数据分析平台，使得电信运营商具备PB级数据分析与挖掘的能力 【关键词】DPI数据 大数据分析与挖掘 SparkR 电信运营商在以DPI数据为基础，结合IT系统数据、网元平台数据刻画用户特征的过程中，以DPI数据为代表的每天几十TB数据的分析，采用当前应用比较普遍的SPSS数据挖掘技术已不能满足大数据分析的功能和时间要求。同时，随着电信运营商正在推行数据服务互联网化，因此电信运营商迫切需要采用新的IT手段解决当前面临的大数据分析需求，提升数据服务质量。本文围绕开源大数据分析与挖掘技术SparkR，根据DPI数据的特点，构建大数据分析平台，达到大数据量分析与挖掘的功能和时间要求，同时提升数据服务质量 1 大数据分析平台设计 1.1 基本要求 大数据分析平台需要快速的完成数据清洗、数据建模等环节，最终将预测的结果提供给业务人员或者系统调用。必须满足的基本要求如下： 能随着数据规模的变换动态调整大数据分析平台的规模，且不影响线上的数据挖掘模型应用 能保证99.99%的平台稳定性 支持PB级数据的存储与分布式计算 支持Redis、HBase等常见的数据存储及即时调用方式 1.2 平台设计 1.2.1 平台功能架构 实现大数据的分析与挖掘，必须具备海量数据存储、分布式计算、通用数据挖掘算法支持、分析结果发布功能。形成数据采集、数据存储、数据清洗、数据建模、分析结果可视化的“大数据挖掘闭环”。大数据分析平台功能架构如图1所示 1.2.2 海量数据存储 具备PB级结构化、半结构化、非结构化数据的存储能力，同时保证数据有效、快速的读取/写入能力 1.2.3 分布式计算 具备PB级数据的分布式计算能力，就是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算，然后再进行结果汇总 1.2.4 数据清洗 数据清洗功能主要是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性 1.2.5 通用数据挖掘算法支持 需要支持通用聚类、分类等算法，如：Generalized Linear Model， Naive Bayes Model，KMeans Model 1.2.6 分析结果发布 预测的结果数据最终保存到键值数据库中，通过API接口和数据可视化技术进行发布 2 实现技术 2.1 硬件平台 大数据分析平台需要进行PB级数据的读取、写入，需要进行数据挖掘模型的大规模运算，需要进行预测结果的发布，对底层基础硬件的磁盘IO和运算速度要求很高，同时需要满足分布式、动态扩展的要求，因此采用配置为2路8核 CPU、128GB内存、千兆网卡的x86架构PC Server服务器 2.2 平台软件 操作系统软件采用Red Hat，数据采集采用Flume-NG，海量数据存储及分布式计算采用Hadoop，数据清洗采用Hive，数据挖掘引擎采用SparkR，预测结果保存在HBase中 采用HAProxy+Keepalived+Flume-NG构建高性能高可用分布式数据采集系统 采用Hadoop构建PB级大数据平台，提供海量数据存储和分布式计算 采用Hive做为数据清洗引擎，提供PB级数据预处理、加工、整合服务 采用SparkR组件，SparkR提供了Spark中弹性分布式数据集的API，用户可以在集群上通过R shell交互性的运行job。数据挖掘模型以Spark On Yarn的yarn-cluster方式构建大数据分析引擎 采用HBase技术可以提供海量数据的高效发布 2.3 大数据挖掘模型开发 数据采集存储模块：DPI、业务侧、网元侧数据通过文件接口方式发送到Flume-NG集群，Flume-NG通过memory数据传输方式，将接收到的数据实时的通过hdfs方式汇聚到大数据分析平台 数据清洗模块：通过编写HQL脚本对数据进行清洗、转换，形成特征宽表 数据挖掘模块：基于特征宽表的数据建模采用SparkR，调用聚类、分类等算法，进行模型开发、模型评估、模型应用 分析结果发布：模型应用的结果集存储在HBase中，首先需要在HBase中新建存储结果集的HBase表，通过MapReduce生成HFile文件，然后通过BulkLoad方式入库。 数据的调用