大数据时代统计分析.docVIP

大数据时代统计分析 　　摘 要：大数据对社会经济的各个方面产生的巨大影响，本文讨论了大数据下的统计思维原理：总体代替抽样可以改善取样分析的准确性；用相关代替因果，在一定程度上对研究有量变引起质变的作用；接受数据不准确和不完美，可以更好地模拟和了解世界。基于这一原理，讨论统计业务，如数据搜集、数据处理和数据应用所面临的挑战。 　　关键词：大数据 统计分析 总体 相关 近似 　　中图分类号：G64 文献标识码：A 文章编号：1674-098X（2018）01（a）-0166-03 　　随着物联网、云计算、传感器的快速发展，大数据已经引起全球广泛的关注[1]。企业的IT高管们已然开始意识到，如果没有强大的分析系统，大数据几乎没什么价值。所以，最关键的并非大数据本身，而是数据价值的获取。如果企业管理者能够从他们收集的数据中得到真实的信息，他们可以做出更好的决策，并提升企业乃至整个行业中的地位。 　　小数据统计的最基本的思想就是抽样方法，利用样本的信息去估计总体信息以减少不必要的损失。其中最常见的应用就是，在测量某家厂商生产电视的寿命时，不必每一台都去测量，而是从中取出样本测量，再利用样本和总体的关系，得到总体的电视寿命的大概分布，再利用抽样检测，验证其分布是否合理[2]。 　　与小数据统计不同，大数据统计不用随机抽样调查，而采用全员数据参与的方法。当数据积累到一定程度之后，数据就会引发质变。也就是说，样本容量越大，收集的信息就越多， 　　从而估计的精度就越高，但进行观察所投入的费用、人力和处理时间就越长。抽样方法，虽然节省了进行观察所投入的费用、人力和处理时间，但由于收集的信息有限，影响了估计的准确性，在小数据时代，这是个统计两难问题。而今天，在计算机处理能力日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，使得统计所需要的样本的获取变得轻而易举，或者说大数据时代给统计科学带来了新的生机。大数据价值获取主要体现在以下几个方面[2]。 　　（1）可视化分析。 　　数据可视化分析能够客观地、直观地认知数据，其基本原理是借助于图形化技术，直观地传达数据潜在的特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。让数据分析人员更深入地观察和分析，实现更好的用户体验。 　　（2）数据价值挖掘。 　　数据价值挖掘指从大量有噪声的、不完全的、随机的、模糊的数据中，提取隐藏在数据中的、有用的信息和知识的过程。挖掘的结果是数据分析报告的素材，挖掘的越深，数据故事讲得就越精彩。数据价值挖掘是数据分析的基本任务。 　　（3）预测。 　　大数据分析最要的目标之一就是预测分析，其基本思想是根据客观事物的已知信息，推测和评估估计事物在将来的某些特征和发展状态，从而减少对事物认知的不确定性，减少决策的盲目性。 　　要实现大数据分析这些技术，必须要树立大数据时代的数据统计理念。 　　1 大数据时代的数据统计理念 　　1.1 总体取代抽样 　　在小数据时代，统计分析往往用尽可能少的样本来证实总体的假设，所以，一般采用随机抽样，随机抽样方法存在以下缺陷。 　　（1）随机性不容易保证； 　　（2）泛化能力差； 　　（3）忽略了细节； 　　（4）对奇异值敏感。 　　随着计算机技术、网络技术、通信技术的发展，能很容易获取来自传感器、网站、视频等数据，计算机的处理能力越来越大。所以，在大数据时代，统计分析不是依靠少量的样本抽样数据，而是依靠总体数据。如Google的流感趋势预测是在分析了几十亿条互联网社交数据而得出的结论。总体取代抽样能够提高微观层面分析的准确性。 　　“样本=总体”是大数据时代数据统计的准则，这种巨大的调整，意味着统计重心需要转移。 　　如果说小数据时代的统计分析的重心在于如何获取数据，那么在大数据时代，则重心在于如何选择有用数据[4]。 　　数据多比数据少要好，更多数据比算法系统更优化还要重要。 　　1.2 相关关系取代因果关系 　　相关关系应该说是统计科学发展的基础，虽然有大量的理论是以逻辑推导得来的，但还是有相当一部分是先发现相关关系，再研究因果关系。 　　针对传统统计分析中的因果关系难以确定的缺陷，在大数据时代，更注重相关关系的发现。相关关系指我们在观察研究对象X，Y时，如果发现，X的变化总是与Y的变化同步，那我们就说X和Y是相关的。事实上，我们可以确定的所有关系都是相关关系，但我们无法得出因果性结论，相关关系应该只与变量之间连动性的紧密程度有关，而不应受变量间形式的影响。相关关系具有“普遍性”，运用范围之广、重要性之大是我们不能忽略的。传统的统计方法已经无法满足发现相关关系的业务需求，面临巨大挑战和机遇。 　　从理论上讲，相关关系是发现因果关系的基础，快速排除不必要的行为。