基于移动信令数据分析的大数据中间件研究.docVIP

基于移动信令数据分析的大数据中间件研究 　　摘 要：现代互联网技术的发展、智能终端的出现，在这一大背景下，如何做好大数据的储存、管理，已经成为移动运营商发展需要解决的重要问题。移动运营商大数据资源非常丰富，但是应用效果却不佳，为了持续发展，移动运营商有必要对大数据中间件投入研究力量。本文主要通过对移动信令数据分析的大数据中间件研究必要性的介绍，研究了移动信令数据分析的大数据中间件，希望对大数据中间件的早日应用提供帮助。 　　关键词：移动信令数据;大数据中间件;研究 　　现阶段，我国有很多企业都对移动信令数据进行研究分析，而且大多数企业都有自己的算法库，但是因为没有统一的规范与标准，移动信令数据的挖掘与分析存在着重复性，同时算法库管理水平也不高，最为重要的是项目模块几乎没有共享性，这使得很多资源没有得到充分利用，大数据库的管理工作也十分不方便。基于就这个现状来说，企业的确应该制作大数据中间件。 　　1 移动信令数据分析的大数据中间件研究必要性 　　移动信令数据分析问题将是未来各界人士只要研究的问题，这主要是由于现代企业希望通过对移动信令数据的挖掘，来获得更多更有价值的信息，从而推动企业发展。移动信令数据分析与研究的必要性体现如下： 　　首先，现代企业所使用的数据分析方法比较落后，已经不能满足大批量数据分析的要求，尤其是在互联网时代，企业所需要的数据几乎都来自于移动互联网，而互联网上的信息非常多，现有数据分析方式已经不能达到要求，因此企业有必要建立更先进的数据分析框架，以能够满足移动大数据快速有效的分析要求;其次，移动信令数据分析既可以为用户提供更具权威性的感知，也可以为用户提供实时的设备监测数据。新型技术的应用可以提高企业精细化管理的水平，为企业提供决策正确率奠定基础;再次，现阶段移动运营商正在努力的挖掘移动大数据但是并没有形成系统，而此时，各个厂家也都在发挥自己的效能进行研究与信令监测，这就导致研究资源的大量浪费，同时无论是投资、研究，还是开发都具有重复性，因此需要大数据中间件进行研究，以减少这种浪费;第四，现阶段各个企业所进行都没有统一的标准与规范，所以有很多开发项目都不够规范，尽管有很多厂家都具有自己的算法库以及场景库，但是却没有统一的标准来规范，所以管理比较混乱，而大数据中间件建立之后，标准与规范相对都比较统一，这为各个厂家也提供参照标准;第五，大数据分析由很多模块构成，但是很多处理模块却没有达到统一，也没有实现共享。无论哪一类项目，挖掘数据、分析数据等都需要算法，但是现阶段却没有统一标准来实现算法，再加之，项目与项目之间没有进行良好的沟通，所以项目中的模块只能在本项目中应用，无法应用在其他项目中，即共享性非常弱。 　　基于上述几点，企业有必要对移动信令数据进行深入的分析，制作出共享性强、标准统一的中间性软件，这样才能实现大数据处理，便于大数据科学合理的管理与应用。 　　2 基于移动信令数据分析的大数据中间件 　　2.1 大数据中间件架构 　　企业在进行移动信令数据分析时，为了确保网络与营销分析更加真实可靠，研究人员尝试着在制作大数据中间件，将其放于应用层与共享层之间。有关人员在共享层中挖掘数据，而应用层通过中间件，共享数据。中间件既要模型库，也有算法库，同时还有大数据分析系统化做支撑，所应用的模式，既有语言，也有接口。这种中间件，功能强大，尤其是共享性突出。 　　中间件具体的处理流程如下：应用类型分析。针对具体应用场景，对共享层的输入数据进行抽样，对抽样数据进行主成分分析，提取感兴趣的字段，遍历模型库，若存在该应用类型的应用模型，将感兴趣的字段与模型库中对应的应用模型关键字进行匹配，根据匹配结果进行下一步相关处理;按已确定的关键字提取原始数据，对提取的数据进行清洗、审核，输出审核通过的数据;对海量原始数据进行分布式存储，根据目标用户，进行数据抽取，得到用户数据文件，然后对用户数据文件进行文件合并;在算法库中选择不同的算法对样本数据进行挖掘分析，计算其准确率，用遗传算法对算法进行组合，得出近似最优解，并对组合分类算法进行预评估;对组合算法模型进行初始参数配置，对样本数据进行相应的数据变换。 　　2.2 并行数据挖掘算法库 　　数据挖掘算法库是大数据中间件的核心组成部分之一，它包括各类数据挖掘算法的实现以及组合算法的实现。其中，算法的并行化是算法库的核心。为实现对多种并行数据挖掘算法的管理，更好地利用算法本身并行性以及整个数据挖掘算法流程上的并行性，在上述计算框架下增加对数据挖掘算法与服务管理，对数据挖掘算法的工作流进行定义，增加对各种数据挖掘算法的扩展性支持，灵活配置各种数据挖掘算法，对算法整个计算流程进行管理，优化算法各个流程所需要的计算框架的分配方式，实现对批量计算的流水并行。