大数据与统计学分析方法比较.docVIP

大数据与统计学分析方法比较 　　摘要： 　　基于理念分析和比较研究方法，对大数据的分析方法和传统统计学分析方法的关联性和差异进行了对比分析，从方法的基本思想、量化形式、数据来源、分析范式、分析方法、分析视角等角度揭示了两种社会科学分析方法存在的联系与差异。 　　关键词： 　　大数据；统计学；研究方法 　　中图分类号： 　　F27 　　文献标识码：A 　　文章编号2015 　　随着信息技术的日益发展与普及，信息以及数据在社会经济发展过程中发挥的作用越来越重要。现如今，“大数据”时代已经来临，于是如何更有效地利用数据快速做出科学决策也已成为众多企业甚至是国家所共同关注的焦点问题。在数据处理和分析方法方面，《统计学》以及在其基础上发展而来的实证统计方法是当前的主流，这些方法可以帮助数据持有者从大量的数据中挖掘有价值的信息，并为其相关决策提供理论支撑和方法支持。然而，传统的实证统计方法在最新出现的大数据情境下，却呈现出了诸多缺陷，例如传统数据收集方法无法实现大规模（甚至是总体）数据的收集，传统统计方法和分析软件无法处理大规模数据，等等。于是，在将传统统计学方法应用于最新的大数据情境和问题之前，需要首先明确大数据所要求的处理方法与传统的统计学处理方法存在哪些关联和区别，然后才能够决定是否可以应用既有统计学理论和方法来处理某些大数据问题。 　　1大数据的界定 　　根据一位美国学者的研究，大数据可以被定义为：it means data that’s too big， too fast， or too hard for existing tools to process。也就是说，该学者认为：在关于大数据的所有定义中，他倾向于将之定义为那类“太大”、“太快”，或现存工具“太难”处理的数据。一般而言，大数据的特征可以概括为四个V：一是量大（Volume）；二是流动性大（Velocity），典型的如微博；三是种类多（Variety），多样性，有结构化数据，也有半结构化和非结构化数据；四是价值大（Value），这些大规模数据可以为持有企业或者组织创造出巨大的商业或社会价值。 　　Victor在其最新著作《大数据时代――生活、工作与思维的大变革》中指出，大数据时代，思维方式要发生3个变革：第一，要分析与事物相关的所有数据，而不是依靠分析少量数据样本；要总体，不要样本。第二，要乐于接受数据的纷繁复杂，而不再追求精确性。第三，不再探求难以捉摸的因果关系，应该更加注重相关关系。这些变革反映出了大数据处理方式与传统统计学分析方法的很多关联以及主要不同。因此，下面我们分别针对两者的联系和区别进行讨论。 　　2大数据与统计学分析方法的联系 　　从18世纪中叶至今，统计学已经经历了两百多年的发展历程，不论是基础理论还是社会应用都极其坚实而丰富。大数据作为一种新兴的事物规律认知和挖掘思维，也将会对人类的价值体系、知识体系和生活方式产生重要影响，甚至引发重大改变。作为两种认知世界和事物规律的基本方法，它们在以下两个方面存在紧密关联。 　　（1）挖掘事物规律的基本思想一致。统计学（statistics）探索事物规律的基本方法是：通过利用概率论建立数学模型，收集所观察系统的数据，进行量化分析和总结，做出推断和预测，为相关决策提供依据和参考。对于大数据，维克托指出，大数据思维的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识。通过这两个定义可以看出，不论是传统的统计学方法还是新兴的大数据分析方法，都是以数据为基础来揭示事物特征以及发展趋势的。 　　（2）均采用量化分析方式。大数据分析的基础是数据化，也就是一种把各种各样现象转变为可制表分析的量化形式的过程。不论是传统统计学中所应用的数据（定性和定量数据），还是大数据时代即将被转化和采用其他形式数据（如文字、图像等），最终都是通过量化分析方法来揭示数据中所蕴含的事物特征与发展趋势。 　　3大数据与统计学分析方法的区别 　　（1）基础数据不同。在大数据时代，我们可以获得和分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机抽样。这意味着，与传统统计学数据相比，大数据不仅规模大，变化速度快，而且数据来源、类型、收集方法都有根本性变化。 　　①在数据来源方面，在大数据背景下，我们需要的纷繁多样的数据可以分布于全球多个服务器上，因此我们可以获得体量巨大的数据，甚至是关于总体的所有数据。而统计学中的数据多是经由抽样调查而获得的局部数据，因此我们能够掌握的事“小数据量”。这种情况下，因为需要分析的数据很少，所以必须尽可能精确的量化