大数据时代统计学面临的机遇与挑战.pdfVIP

第3l卷第1期 统计研究 V01．31．No．1 2014年1月 StatisticalResearch Jan．2014 大数据时代统计学面临的机遇与挑战 耿直 内容提要：大数据给统计学带来了机遇、挑战和紧迫感。本文描述大数据的环境，利用大数据的目的和大数据 带来的变革；介绍国内外有关大数据的研究动向；探讨大数据包含的信息，大数据的预处理、抽样和分析方法。 关键词：大数据；抽样；数据分析方法论 中图分类号：C829．2 文献标识码：A 文章编号：1002—4565(2014)01—0005—05 and inthe of DataforStatistics OpportunitiesChallengesAgeBig Zhi Geng data and forstatistics．Thisdescribestheenvironmentsof Abstract：Bigbringsopportunity，challengesurgency paper of dataandtherevolutiondata．Anditalsointroducestheresearchtrendsfor dataathome bigdata，thegoalbig bybig big andabroad．The and of datahavebeendiscussed． information，preprocess，samplinganalysisbig Key ofData words：BigData；Sampling；MethodologyAnalysis 然和社会规律的历程中，从远古时代的观察加臆想， 一、引言 古希腊时代的观察加理性推理，文艺复兴时代的试 在人类利用观察认知自然的方法论发展的历程 验加理性推理，直到现代的抽样加统计模型。 中，最初神学、哲学和科学合为一体，巫术、占星术和 当今时代，二方面人们在主动地获取数据。各 宗教是哲学和科学的前身。人类旧石器期用神学解 个科学领域都在大量地获取数据，自然科学领域收 释自然，根据蛙鸣预测下雨，用巫术和占星术祈祷、 集着从宏观的天文数据到微观的基因数据，经济、金 预测和干预自然。中国古代利用阴阳太极图和八卦 融和人文社会科学收集着大量的观察和调查数据。 图作为思辨模型，分析和解释自然和人文社会的现 一些人们在通宵达旦地制造和收集数据，他们相信 象。古希腊文明孕育了演绎逻辑、归纳逻辑。文艺 这些数据会对别人有用。也有一些人们脱离了实验 复兴前后哲学家提出观察和试验的方法，培根(F 室，仅依靠网络数据从事研究。另一方面人们在被 Bacon，1620，新工具)提出通过观察实验，运用三动地囤积数据。随着计算机互联网、搜索引擎、电子 表法：存在与具有表、差异表、程度表。穆勒(JS 商务、多种传感器和多媒体技术的发展和广泛使用， Mill，1843，逻辑体系)提出归纳四法：求同法、求异 各种形式的数据如江河流水般地涌来。当今数据的 法、共变法、剩余法。在统计方法论的发展中，贝叶 获取和规模发生了根本的变化，统计学面临着新的 斯(T Bayes