大数据时代统计学挑战与机遇.docVIP

大数据时代统计学挑战与机遇 摘要：文章主要讨论大数据时代统计学的建设发展问题。根据大数据对统计学的影响，分析我国统计学的发展现状，提出健全和完善统计学科的新思路，积极应对大数据时代对统计学科建设面临的新挑战与新机遇。 关键词：大数据；统计学；学科建设 近年来大数据蕴藏的价值已经得到普遍认可[1-3]，其意义在于通过数据采集、导入与预处理、统计分析、数据挖掘，发现其内在规律，创造新价值。统计学是搜集、分析及解释大数据的方法论[5]。大数据作为统计学研究重点对象，为统计学科提供了发展平台，促进统计理论、思想及方法不断完善，并对数据采集、处理和分析等问题带来了新挑战和新机遇。 一、大数据对统计学的影响 1.处理大数据发展创新的技术手段。大数据的海量化导致数据存储和处理分析的危机，它的多样性使得研究的数据类型发生了改变。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量。缺乏先进的统计分析方法是从大数据中获得最大价值的主要障碍。因此，如何发展统计理论和方法，迅速有效地处理海量数据，是解决挖掘大数据价值的关键技术。2.揭示大数据蕴藏价值的思想方法。迄今为止，人们对事物的研究主要依赖抽样数据、局部数据和片面数据，产生的结果可能是片面或者肤浅的，甚至是错误的。文献[1]指出了大数据时代的三个重要思维方式：①从样本数据到全体数据；②从数据结构精确性到其混杂性；③从变量因果关系到相关关系。传统的统计理论及方法很难用来描述巨大的全体数据、复杂的数据结构及高维变量之间的关系等，有时其计算过程及存储量很难实现。对非结构化数据，有效的统计模型也需要新的探索和尝试。3.运用大数据精确管理的思维习惯。大数据除了容量大以外，其整合与分析可以让我们发现新的知识和价值。通过大数据获得知识、商机和社会服务的能力不仅可以应用于学术研究，也可以应用于普通的机构、企业和政府部门等，使得更多人参与社会管理。目前，我们尚缺乏收集、整理、运用数据精确管理事物的意识，对“大概”“差不多”模棱两可的思维习惯提出严峻挑战[2]。大数据的影响，不仅可以改变我们对事物的思维方式，还可以增加探求知识的方式方法。在大数据时代背景下，我们可以用更宽泛的统计思维方式，分析挖掘数据中隐含的知识，揭示事物的众多层面。 二、我国统计学发展现状 目前，我国统计学科建设的发展与大数据时代的需要还存在许多不相适应的地方：1.统计学体系不够完善。1992年统计学首次从经济学中独立成为一级学科。1998年统计学纳入理学，成为与数、理、化、生、经等并列的学科类。2010年成为一级学科，授理学学位或经济学学位[5，6]。这样，统计学就完全从数学和经济学中独立出来，成了名副其实的一级学科。统计学上升为一级学科，有利于统计学科的发展，更有利于我国经济与社会的发展。但统计一级学科确立后，大部分挂靠在高校的数学学院或经济学院之下，作为一般学科建设发展，使得统计学发展受到一定的限制。2.学科建设滞后于时代发展。从我国统计学发展历史来看，经历了两门统计学的特殊时期：数理统计与经济统计。在数理统计教学中，注重理论上的学习和推导，与实际运用脱离较远；在社会经济统计教学中，注重实践运用与分析，但缺乏精确推导与理论支撑，导致数理统计越来越理论化，社会统计越来越指标化。更有人主张经济统计属于经济学分支，数理统计属于数学分支，导致统计理论与应用被人为割裂开来，严重阻碍统计学的发展，使得我国统计学发展远远落后于发达国家。3.统计人才培养质量亟待提高。目前，统计人才队伍和科研成果还较弱。尤其西部地区各高校，统计学科的师资力量和人才培养环节非常薄弱，科研成果较少，有些科研团队的建设尚处于筹备中，导致能申请上国家自然科学基金面上项目或重点项目的教师不多。另外，有些高校只有统计学硕士点而无统计学博士点，不利于统计人才的培养。可以说，统计人才队伍是制约和影响统计学发展的关键因素。 三、健全完善大数据下统计学体系的几点思考 1.研究对象。统计学研究对象主要是数据，其来源分成两大类：一类是物理世界，大都是实验和传感数据，采集和处理数据均事先设计好。另一类是与人类活动密切相关的数据如互联网大数据，该数据大都随机产生，具有多源异构、交互、时效、突发和噪声等特性，并且许多数据是重复的或者没有价值，比科学实验数据分析更困难，这是统计研究的重难点。2.培养目标。统计学建设既需要培养理论功底扎实的统计“理论家”，又需要培养灵活运用统计的“实践家”，推动统计学在大数据时代中的发展[7]。大数据时代下对统计人才有以下要求：（1）具有扎实的数学、经济学以及统计学基础；（2）具有数据采集与处理和