浅谈统计学大数据时代发展方向及趋势.docVIP

浅谈统计学大数据时代发展方向及趋势 　　摘要：文章通过阐述大数据的来源与发展历程、统计学的发展历程，分析大数据时代对统计学的影响，对大数据时代下统计学面临的机遇和挑战展开探讨研究，旨在为相关人员基于大数据的来源与发展历程、统计学的发展历程以及大数据时代对统计学的影响的统计学的大数据时代的发展方向及趋势研究适用提供一些思路。 　　关键词：大数据时代；统计学；发展；挑战 　　引言 　　伴随着云计算、物联网等新兴技术的不断发展，数据增长表现出惊人的状态，海量庞大的数据出现标志着大数据时代的来临。在大数据时代下，统计学与大数据紧密联系必将成为一种必然趋势，研究统计学的大数据时代的发展方向及趋势有着十分重要的现实意义。 　　1.大数据的来源与发展历程 　　大数据，并不具备一个十分明确的概念，起初大数据起源于技术领域。在信息量逐步增多的情况下，使得常规电脑原有内存量已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。 　　2.统计学的发展历程 　　介于人类统计活动是随着计数行为而出现的，故统计发展历程能够追溯至原始时期，即统计已经有几千年的发展历史。然而，人类统计时间发展至理论层面，则要追溯至近代，迄今为止约有300多年的历史。统计学的发展历程，大体而言，可分成古典记录统计学、近代描述统计学以及现代推断统计学三个阶段。其中，第一个阶段时间范围大约为17世纪50年代～19世纪50年代，统计学兴起于这个时期，并初步形成了统计研究的相关规则、方法。第二阶段时间范围大约为19世纪50年代至20世纪20年代，这一时期的“描述”特性是通过一批原本为生物进化研究领域的相关专家所提出的，故历史上将其称之为生物统计学派。第三阶段时间范围大约为20世纪初～20世纪50年代，这个时期统计学实现了巨大的飞跃，历史上将其称作农业试验统计学派。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性[2]。 　　3.大数据时代对统计学的影响 　　3.1大数据对样本和总体的影响 　　大数据凭借自身特有的多样性、大体量，部分样本难以表现的规律，大数据则能够很好的呈现；部分样本难以捕捉的小信息，大数据则能够很好的覆盖；部分样本指出的异常规律，大数据则能够对其予以认可。大数据时代下，人们对于客观事物现象的认识能力将得到显著地提升，各式各样重要信息将不再会被错过。换而言之，大数据时代下，大数据不仅是样本，还是总体。 　　3.2相关分析变化 　　大数据时代下，我们应当提升对相关分析运用重要性的认识，其亦是传统相关分析面临的不可多得的机遇。同时，如何自相关分析变化角度出发，确保统计相关分析方法顺应时代发展，于大数据时代下可起到有效作用，传统相关分析同样面临着严峻的挑战。 　　3.3因果分析的变化 　　在大数据时代不断深入的背景下，社会经济中对于数据的处理、分析出现了极大程度的转变，现如今讲究数据一系列分析取代了过去仅强调数据因果分析的局面。即人们不再完完全全的追求“Why”，而更为方方面面的想得知“What”。 　　4.大数据时代下统计学面临的机遇和挑战 　　4.1大数据时代对统计学的挑战 　　4.1.1大样本标准的变化 　　样本统计属于统计学的核心内容，统计学通过样本统计对客观事物数量特点、数量关系等展开研究。大数据时代下，样本即是总体将转变为新的发展趋势，大样本标准也随之变化。一般情况下，大样本指的是样本数超过30，小样本指的是样本数不足30。传统统计学将30视作大样本的标准，在大数据资源高噪声、多源异构等相关特性左右下，该标准显然存在过低的问题，无法对干扰信息数据影响进行有效筛除，使得统计结果仅仅可于有限的程度上对客观事物变化规律性进行说明[3]。鉴于此，过去传统统计学应当全面结合大数据时代下的庞大数据，提升数据来源的多元性，以提升样本数；并且还应当变化大样本标准，由更大规模的样本数代替过去过低的样本数，有效满足大数据时代下统计学对数据精确度的要求。 　　4.1.2样本选取标准和形式的重新确定 　　现阶段，大数据采集的相关数据，超过85.0%属于半结构化、非结构化数据，显然过去关系数据库难以对此部分数据进行有效处理，大数据则可通过构建非结构数据库，有效弥补过去关系数据库的这一不足，把非结构化数据转换成结构化数据，充分挖掘此类数据所具备的潜在用处。如果传统统计学可摆脱结构化数据的制约，缩减样本选取标准，构建非结构数据库，促使统计学数据基