大数据时代下数据分析的主要变化.docVIP

PAGE  PAGE 8 大数据时代下数据分析的主要变化 　　摘 要：在分析大数据时代的背景下笔者对“大数据时代”做了个界定，并从数据分析出发界定了“大数据”的概念。同时，根据大数据的特点，从几个方面剖析了大数据时代下数据分析的主要变化，明确了今后经济统计研究中需要注意的一些问题。 　　关键词：大数据；大数据时代；数据分析；统计学 　　一、引言 　　随着互联网特别是移动互联网的发展，信息化渗入到社会经济各方面、人们日常生活中。根据相关资料的显示，在1998年至2014年间，全球网民每月使用流量就增长了近万倍。在2001年一年内，全网流量累计达到了1EB（1EB=TB），2004年需一个月，在2007年则是1周，而到了2013年仅用一天的时间。[1]据思科之前预测，到2016年全球将会产生高达1.3ZB（1ZB=TB），将这个数字形象化一点就是全球网络每小时会传输超过3800万张DVD所容纳的数据量。大数据充斥着人类经济社会的许多角落。 　　在《第三次浪潮》一书中，著名未来学家阿尔文?托夫勒（1980）将大数据形容为“第三次浪潮的华彩乐章”。近年来，社交网络、物联网、云计算逐渐占据人类生活圈，使得数据的规模越来越大。麦肯锡在2011年5月发布的《大数据：创新、竞争和生产力的下一个前沿领域》报告中指出，“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”，这也标志着“大数据”时代的到来。 　　朱建平、章贵军等（2014）[2]认为大数据时代是在互联网、物联网等现代网络渠道广泛收集数据资源的基础上建立起来的数据存储、价值提炼、智能处理和展示的信息时代。其基本特征主要体现在社会性、广泛性、公开性和动态性几个方面。 　　二、大数据概念的界定 　　关于什么是大数据目前没有统一的说法，不同态度和学科背景的定义者对其的理解不同。比较有代表性的定义主要有以下几种。 　　维基百科认为，大数据是指在目前主流的软件工具的支撑下，仍无法在合理的时间内对规模巨大的资料进行撷取、管理、处理、并整理，使之能帮助企业做出更积极的经营决策的资讯[3]。 　　“大数据”研究机构Gartner给出的定义是：大数据是需要新的处理模式，使海量、高增长率和多样化的信息资产可以拥有更强的决策力、洞察力和流程优化能力①。 　　大数据科学家John Rauser提出了一个简单的定义，大数据指任何超过了一台计算机处理能力的数据[4]。 　　而对于麦肯锡全球研究所来说，大数据是指在规模上远远超出传统数据库承载能力的数据集合，海量的数据规模、多样的数据类型、快速的数据流转和低密度价值是其四大特征[5]。 　　Gartner公司的Merv Adrian（2011）认为，大数据超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力[6]。 　　还有一些学者没有给出大数据的具体定义，但概括了大数据的特点。从Dumbill（2012）采用IBM公司的“3V”特点②到IDC坚持的“4V”特点③，再到刘念真（2013）给出的“5V”特点④[7]，都是对大数据特点和定义的延展。 　　大数据的定义之所以言人人殊，主要是由于大数据本身所涉及到的内容“大”，大家可以从不同的角度理解它。总的来说，大数据可以从广义和狭义两个层面来理解，狭义的是从数据的字面含义来看，是指数据所具有的规模和结构形式；如果从广义上来看的话，大数据除了字面的意义外，更是包含了数据处理的技术。 　　大数据的核心是数据，而数据是统计研究的对象，对数据进行正确的统计分析是从大数据中寻找有价值信息的关键。因此，我们可以从统计学科的性质来理解，大数据是指那些传统数据处理系统无法承载，并跨越经典统计思想研究范围的复杂数据的集合。对于这一数据集合，为了达到商业价值和公共事业服务性的实现，我们可以运用新的统计思想分析管理，在现代计算机技术的媒介支撑下获取所需的信息和知识。 　　三、数据分析的主要变化 　　（一）分析思路 　　传统的统计分析方法通常是“先假设后关系”，即先假设某种关系的存在，然后设定理论模型，再根据之前的假设计算变量之间的关系，这种思路一般只适用于处理小数据。而大数据时代的数据量和变量数目都很庞大，传统的分析思路有些超脱实际。因此，大数据时代的分析常常是直接计算现象之间的相依性。 　　传统的统计分析过程是“定性-定量-再定性”，第一个定性是为定量分析找准方向，主要靠经验判断，一般针对数据短缺的情况下比较重要。现在大数据时代，可以直接通过数据分析做出判断，所要做的是直接从“定量的回应”中找出数量特征和数量关系，然后得出可以作为判断或决策依据的结论。因此大数据时代统计分析的