大数据时代统计学重构浅析.pdfVIP

第29卷 第 3期 沈 阳 大 学 学 报 （ 自 然 科 学 版 ） Vol .29，No .3 2 0 1 7 年 6 月 JournalofShenyangUniversity (NaturalScience ) Jun . 2 0 17 文章编号：2095-5456(2017)03-0250-04 大数据时代统计学重构浅析 岳 晓 宁 a，丁 宇1^ (沈阳大学a. 师范学院；b .信息工程学院，辽 宁 沈 阳 1 10044) 摘 要：基于大数据特征，统计学的抽样理论和总体理论的存在价值、统计方法的重构及统计结果评价 标准的重建等成为统计学理论面临解决的首要问题.为适应大数据时代的发展，分析了大数据时代传统统计 学所面临的机遇与挑战 ，对传统统计学的继承、发展和完善 ，重构大数据时代新的统计理论有其重要意义. 关 键 词 ：大数据；统计学；数据分析；抽样理论 理论重构 中图分类号： O 236 文献标志码：八 随着信息科学技术的高速度发展，当代获取 全等.大数据的数据量大、多样性、复杂性及实时 和储存数据信息的能力不断增强而成本不断下 性等特点，使得数据存储环境有了很大变化[45]， 降，这为大数据的应用提供了必要的技术环境和 而大部分传统的统计方法只适合分析单个计算机 可能.应用大数据技术的优势愈来愈明显，它的应 存储的数据，这些问题无疑增加了数据处理和整 用能够帮助人类获取真正有价值的数据信息.近 合的困难.数据分析是大数据处理的核心过程，同 年来，专家学者有关大数据技术问题进行了大量 时它也给传统统计学带来了巨大的挑战[6 ].产生 的研究工作[1]，很多领域也都受到了大数据分析 大数据的数据源通常情况下具有高速度性和实时 的影响.这个时代将大数据称为未来的石油，它必 性 ，所以要求数据处理和分析系统也要有快速度 将对这个时代和未来的社会经济以及科学技术的 和实时性特点，而传统统计分析方法通常不具备 发展产生深远的意义和影响. 快速和实时等特点. 目前对于大数据概念，主要是从数据来源和 基于大数据的特点，传统的数据统计理论已 数据的处理工具与处理难度方面考虑，但国内外 经不能适应大数据分析与研究的范畴，传统统计 专家学者各有各的观点，并没有给出一致的精确 学面临着巨大的机遇与挑战，然而为了适应大数 定义.麦肯锡全球数据分析研究所指出大数据是 据这一新的研究对象，传统统计学必须进行改进， 数据集的大小超越了典型数据库工具集合、存储、 以继续和更好的服务于人类.目前国内外将大数 管理和分析能力的数据集，大数据被 Gartner定 据和统计学相结合的研究文献并不多. 义为极端信息管理和处理一个或多个维度的传统 本文对大数据时代这一特定环境背景，统计 信息技术问题[23]. 目前得到专家们认可的一种 学的抽样理论和总体理论的存在价值、统计方法 观点，即：超大规模”是 G 级数据，“海量”是 TB 的重构及统计结果的评价标准的重建等问题进行 级数据，而“大数据”是 P 及其以上级别数据[2]. 分析与研究. 一些研究学者把大数据特征进行概括，称其具有 1 传统意义下的统计学 数据规模巨大、类型多样、可利用价值密度低和处 理速度快等特征，同时特别强调大数据区别于其 广泛的统计学包括三个类型的统计方法：