大数据应用研究.docVIP

大数据应用研究 　　[提要] 随着云计算、移动互联网的迅猛发展，信息技术在各行各业发挥了越来越重要的作用，产生于不同行业的大量数据带来了新的机遇和挑战，大数据技术在社会经济发展中脱颖而出。在电网、IT、教育、金融等领域，数据的来源、种类等纷繁复杂，数据处理一直是非常重要的一个方面，调度系统、交易系统、管理系统等各个环节都有大量的基础数据产生，这就急需有效的大数据处理技术来对这些海量的数据进行分析、处理。本文主要从大数据的概念、技术及基本框架出发，对大数据处理技术的应用，尤其是在教育、金融等领域的应用进行研究，最后总结大数据研究现状，并对大数据的发展前景及未来应用进行展望。 　　关键词：大数据；处理技术；应用；发展前景 　　本文为河北省社会科学基金青年项目：“大数据背景下河北省科技型中小企业的云融资模式研究”（项目编号：HB16YJ045） 　　中图分类号：F49 文献标识码：A 　　收录日期：2017年3月16日 　　一、大数据的概念、技术及其基本框架 　　大数据指的是大规模、超大规模的数据集合，具有规模大、种类多、生成速度快、价值巨大但密度低的特点。收集大数据可以帮助企业挖掘出更多具有研究价值的信息，比如管理分布趋势、人们的生活习惯等。传统的数据处理方式无法对海量的数据进行准确的分析与处理。《华尔街日报》将大数据时代、智能化生产和无线网络称为引领未来繁荣的三大技术变革。那么，大数据的定义是什么呢？维基百科对大数据做了比较简单明了的定义：大数据是指利用常用软件工作捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说，大数据是一个由大量数据组成的数据集，这个数据集涵盖的数据种类繁多，已经无法用我们传统的数据处理技术来分析和管理，也无法用传统的数据库来存储和查询，而且随着数据的不断扩充，数据的不完备性及时效性也为数据处理带来了极大的挑战，从而产生了大数据处理技术。Hadoop系统框架的提出，带来了海量数据处理技术新的浪潮，Hadoop是一个由Apache基金会所开发的分布式基础框架，实现了一个分布式文件系统，简称HDFS，用户可以在不了解分布式底层设计细节的情况下，进行分布式程序的开发。Hadoop框架最核心的设计就是HDFS和MapReduce。Hadoop体系架构和核心技术，如图1、图2所示。（图1、图2） 　　二、大数据处理技术的应用 　　大数据在各个领域应用广泛，尤其是在电子商务、电网、网络通信、医疗行业、能源行业、气象行业、国防军事等领域得到了深入的开发与应用。比如在电网领域，智能电网的调度、蓄电池领域等都提出了将大数据技术融合进智能电网的发展方向；在电子商务方面，通过大数据的分析可以得到消费者的消费习惯、消费趋势等信息；在网络通信领域，可以通过对大量的通信数据的收集分析，捕捉市场变化；在医疗行业，在医疗活动、健康体检、人类基因分析中会产生海量的有效数据，通过大数据处理技术，可以实现个性化治疗，建立基因数据库等；在气象领域，气象卫星、天气雷达等非常规遥感遥测数据中包含的数据信息非常丰富，通过收集大量的气象卫星数据可以挖掘出更多有助于预测天气变化的规律，提供更加精准的天气预报，同时通过这些数据分析也可以拓展气象行业新的领域。另外，大数据在交互领域的应用也更加广泛和深入。 　　在金融保险领域，“互联网+金融”的发展模式为大数据在金融领域的应用提供了更加广阔的空间。例如中小型企业融资问题的研究，通过搭建的云数据平台，广泛收集资金供需两方的信息资源，用大数据处理技术对收集到的海量的数据进行处理分析，从而建立标准化风险评估体系，降低金融行业的风险系数、拓宽融资渠道等，助力金融行业的发展。在教育科研领域，近年来在移动互联背景下，教育改革成果质量有了突飞猛进的提升，通过对教育活动中的一系列行为数据进行统计分析，可以帮助我们为改善学生的成绩提供个性化服务，与此同时，还能改善学生的出勤率、升学率等。目前，美国教育部门开发了“学习分析系统”，通过数据挖掘、模型化和案例运用，帮助教育者更多更精准地了解学生信息，对于翻转课堂、案例化教学等新兴的教学改革方式也提供了依据和帮助。国内的高校主要是通过网络教学平台的构建，依托大数据处理技术，分析教师、课程、学生三者之间的关系及各自的学习特征等。另外，大数据在智慧城市、智能运输等方面也有出色表现。 　　综上所述，大数据处理技术在各行各业都得到了广泛的应用，随着移动互联网、物联网、云计算等技术的飞速发展，大数据未来的发展空间将会更加广阔。 　　三、大数据发展的挑战与展望 　　当前，大数据处理技术的应用还面临着很多的挑战，目前的技术研究水平还处于初期阶段，在数据存储、数据处理、数据分析等方面还存在效率低、不稳定的问题，数据模型建立、数据分析及相应的搜索、挖掘算法还有待优化。