浅谈大数据带来的变革.docVIP

浅谈大数据带来的变革 　　摘要：本文通过分析大数据带来的冲击来探讨给统计研究、统计基层工作者及企业统计带来的新变化、新要求、新机遇。 　　关键词：大数据时代；统计工作 　　中图分类号：C829.2 文献标识码：A 文章编号：1001-828X（2014）06-00-01 　　20年前，数据对于普通人来说，还是一个相当专业的词汇。现在，数据已经无孔不入的渗透到我们的生活。“大数据”一词由英文“Big Data”翻译而来，它指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到抓取、管理、处理、并整理成为帮助企业经营决策的资讯。 　　一、大数据带来的冲击 　　美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度等，也产生了海量的数据信息。 　　随着数据的增多，麻烦的事情也随之而来，大数据意味着多数据的集合，如何有效管理难以想象的海量数据并将这些海量数据整合成我们所需要的信息，这在非结构性数据所占比例越来越高的数据库中，成为统计的一大难点。 　　数据的价值在于将正确的信息在正确的时间交付到正确的人手中。如此海量的数据中蕴含的价值不能只是由专业人员来解读，解读大数据时代的特征以及分析数据的价值并不只是数据科学家和高级研究员的事情，这需要全社会的普通基层工作者的积极参与。各行各业从事与数据相关的人都应对此引起高度重视。 　　工业企业是大数据早期使用者，在电脑诞生之初就将信息技术和自动化技术应用在设计和制造配送产品上，目的是提高产品质量和性能，相对于绝大多数行业，工业企业对数据的应用已经是非常高效，但大数据仍然能够提供一波重大的升级。从各种类型的数据中，快速获得有价值的信息，这是大数据应用的关键，也正是这一点促使该技术具备走向众多企业的潜力。那么，如何将数据信息与产品和人相结合，达到产品或服务优化是大数据给企业带来的挑战之一。 　　二、大数据带来的统计研究的新变化 　　大数据时代的到来，是现代生产力水平发展到一定阶段的必然。统计学是一门综合性、交叉性、实用性很强的学科，其研究的是如何取得数据、如何通过数字反映客观事物的现状、特点和规律。以此为标准，如果我们确信统计是要研究搜集数据的方法、是要用数据来说话的，那么，我们就要承认，大数据时代的到来，给我们带来了许多新的情势、新的问题。无论是数理统计，还是社会经济统计，都需要面对已经变化了、正在变化着、还将继续变化的数据的世界。因此，我们也需要在统计的世界里，学习、掌握、比较、选择、运用和创新统计理论和统计方法，以适应大数据时代的发展及其带来的挑战。 　　大数据分析与传统的数据仓库应用相比较，具有数据量大、查询分析复杂等特点。首先要在数据处理之前确定正确的统计方法，一个完整的总体已经摆在面前，针对大样本和高维变量的数据集合，统计学可以采用抽样法减少样本量，达到需要的精度，变量选择，压缩分解来降低维数。这里只是提供大数据与统计研究相结合的一个思路。 　　大数据的到来将对传统的统计方法进行考验，统计学的目标是通过获取数据分析数据发现真理，统计方法和理论对数据有过高的要求，而大数据充满随机、非随机误差和偏倚。我们只能从大数据中提炼出具有可证伪的结论，这个结论还是科学的可用于知识积累的。 　　三、大数据时代对统计工作提出的新要求 　　（一）对官方统计的新要求。大数据时代的到来对传统的统计调查方式带来挑战，客观上要求进行统计调查的体系改革，要求政府统计机构通过运用现代化的信息技术，对调查对象已有信息进行搜索，经过信息加工获取调查数据。政府要拓宽获取信息的渠道，统计工作应该由传统的层层布置或加工汇总上报转变为不同部门直接按照自身需求进行挖掘整理，把由企业去做的事情交由其大数据平台去完成。 　　（二）对基层统计工作者的新要求。大数据时代的悄然到来和计算能力爆炸式增长，让做统计分析的各类人士不禁要重新打量一下自己的技能包，看看是在这个环境下改造自己还是被淘汰掉。基层工作者要加强适应大数据时代环境的能力，加强信息化技术的掌握以及与统计工作相结合的应用能力。理论知识的学习同样重要，根据大数据的特点，单纯的统计数字已经不能满足企业的要求，从这些海量的数据中提取有价值的信息，应用于分析总结中不仅有利于工作能力的提升，还会带来工作效率的提高。 　　四、大数据时代给企业带来的新机遇 　　未来将属于那些能够驾驭所拥有数据的企业，这些数据与企业自身的业务和客户相关，通过对数据的利用，发现新的洞见，帮助他们找出竞争优势。众所周知，企业数据本身就蕴藏着价值