移动通信网络中大数据处理的关键技术.docVIP

移动通信网络中大数据处理的关键技术 　　摘 要 　　随着社会的发展，移动通信网络也在不断进步，并且受到的广大群众的欢迎。但是与此同时也产生了大量的数据，那么如何对这些数据进行处理，这也成为了一大难题。本文主要是介绍大数据的相关概念以及发展历程，分析其所用的关键技术，并对“云计算”的现状进行深入解析。 　　【关键词】移动通信网络 大数据 关键技术 处理 　　1 大数据概念与特点 　　通常情况下，数据的产生可以分为三个阶段： 　　1.1 被动产生阶段 　　数据量出现第一次飞跃是在数据库刚刚产生的时候。在这个阶段，数据库还没有得到广泛使用，通常只是应用在政府或者是一些比较大型的企业中，比如用来处理大超市的销售记录、用来处理银行的大量交易数据等，一般都是为了运营活动而使用，所以这个时候的数据处于被动产生的状态。 　　1.2 主动产生阶段 　　数据量出现第二次飞跃是在互联网产生的时候，互联网用户量很多，每天都有很多人使用微博、QQ等聊天工具进行聊天，加上手机和电脑越来越智能化，越来越方便用户的使用，而在这个过程中，数据的产生是通过用户自愿完成的，此时的数据处于主动产生的状态。 　　1.3 自动产生阶段 　　数据量出现第三次飞跃是在数据能够自动产生的时候。在这个阶段，物联网与移动通信网络相互结合在一起，产生了很多传感设备，并且得到全球的广泛使用，数据是通过自动的方式来产生的，于是就迎来的大数据时代。 　　大数据通常有以下几个特点： 　　（1）大数据所包含的数据量很大。 　　（2）大数据并没有固定的结构，非结构化较强。 　　（3）大数据的来源很多，可以通过不同设备来进行采集。 　　（4）大数据可以在短时间内获得，具有实时性。 　　2 大数据处理的关键技术 　　在移动通信网络中， 特别是在物联网中，很多终端设备通常都是处于无人监控的状态，加上其所工作的环境大都是比较恶劣的，所以就使得物联网对这些数据进行采集时，会出现很多错误的数据，收集到的原始数据并没有很强的可靠性，比如一些数据与实际存在误差、一些数据收集不完整等，并且还有很多数据是多余的。所以，就应该通过各种方式来提取大量数据中比较有价值的数据。就目前而言，也产生了很多数据清洗技术，但是这些数据只适用于具有较强结构化的数据，大数据又是属于非结构性，所以并没有起到很好的作用。并且通过这种技术，也不能处理大量的数据，就使得大数据的实时性不能得到体现。所以，对于大数据的清洗技术还需要继续深入研究。 　　大数据的来源很多，把收集到的各方面数据融合在一起，这对于数据的分析很重要。数据融合也就是所收集到的数据源是不一样的，这些数据通过不同的表象来对实体进行表达，那么就要把这些数据转换成对同一个表象的表达，减少相关数据产生冲突的过程。而在移动通信网络中，很多数据都是具有多源性，所以就很有必要对其进行统一，使得各个数据之间产生关联性。那么就要具有结构化和非结构化两种数据关联在一起，然后再通过数据融合的方式来提取其中比较关键的数据。 　　经过对数据进行一系列的处理之后，包括清洗、提取和融合等，还应该分析从移动通信网络中所获得的大数据，并能够挖掘一些新的数据。想要分析并挖掘移动通信网络中的大数据，通常都要考虑到数据的表示以及数据储存两个方面。其中，还需要具有比较先进的挖掘工具，并且也要改善数据的开发环境，这对于大数据的处理来说非常重要。 　　对大数据进行处理的另一个关键技术就是通过可视化来分析数据。移动通信网络的数据量非常庞大，并且对其进行挖掘的结果也是一个大数据，而把这些数据进行可视化分析，就能够让人们更加容易理解这些数据，并能够对其进行更加深入的分析；同时，对这些数据进行可视化分析，可以促进人机交互的进行，通过人机交互的方式来对大数据进行处理，就能够大大的提高处理的能力，工作效率也明显增强。这对于大数据处理来说，具有比较实际的意义。 　　当然，移动通信网络中的大数据所要面临的挑战不仅仅包括以上这些，还包括大数据的安全问题，并且可能会涉及到一些隐私问题，所以就要加强数据管理手段，努力提高数据处理技术，实现大数据的有效管理。 　　3 “云计算” 　　通过以上的分析，我们很容易就可以看出，目前移动通信网络中的数据量越来越大，并且需要对大数据的分析也要求更加深入。所以这就给移动通信网络带来的更多的挑战，既要保证大数据的有效性，又要求其具有实时性。云计算也因此而产生了，它给移动通信网络中大数据提供了新的处理方法。 　　早在2004年的时候，谷歌公司就提出了MapReduce技术，这也成为了一个比较典型的云计算模型。这个模型主要就是针对大数据处理而产生，它可以对移动通信网络中的数据进行分析，于是就受到了各界人士的青睐。MapReduce主要包括三个技术框架： 　　（