大数据与统计的机遇与挑战.docxVIP

大数据与统计的机遇与挑战 2012年以来，大数据（大数据）一词在全球范围内很受欢迎。对于大数据的研究和利用, 一些发达国家已经上升到国家战略的高度, 同样的在我国也引起高度重视。2013年5月, 国家统计局马建堂局长在科研所等单位上报的有关大数据的报告上批示:“我们对大数据对我国统计工作的机遇与挑战, 无论如何强调都不过分, 甚至都不够。抓住这一机遇和挑战, 当前的关键还是统一思想, 坚定意志, 主动进取。如果我们不想成为落伍者, 而欲成为弄潮儿, 就必须清醒地认识这一点。”因此, 以数据质量作为生命线的政府综合统计如何适应大数据时代值得深思。 一、 大数据化解决政府统计危机的必要性 近年来, 工资“被增长”、CPI“被下降”、房价“被降低”、失业率“被减少”……因百姓的切身感受与统计数据之间的差异, 导致了社会对统计数据的质疑, 政府统计的权威性和公信力也因此受到质疑。这既可能是由于方法制度不完善造成的, 也有可能是宣传不到位和信息解读不够等原因造成。如何化解统计数据信任危机, 重塑政府统计权威性和公信力?兴许利用大数据能够很好的化解这一危机。那么何为大数据呢, 它具有什么特点呢? 维基百科认为, 大数据是一个难以通过现有数据库管理工具进行处理的大而复杂的数据集的集合。它是继云计算、物联网后的又一次颠覆性技术革命, 它的特点可以用有四个以“V”为开头的单词表示, 即数据量十分庞大 (Volume) 、产生频率非常快 (Velocity) 、数据类型繁多 (Variety) 和数据量不稳定 (Variability) 。 政府统计如果挖掘这一数据宝库, 对于促进政府统计改革发展具有重大意义。主要表现为:通过利用客观存在的海量数据, 能够有效降低调查成本;大数据化的采集方式减少了层层上报环节, 有助于提高数据及时性、准确性。同时, 通过对海量数据的分析、整理, 可以对经济社会运行情况进行多方面印证, 减轻外界对于统计数据准确性的质疑。 二、 在大数据背景下，政府的统计数据面临着挑战 1. 在统计设计方面 三、 在大数据背景下，政府统计数据的转变如下 1. 表处理程序简单 统计设计是对统计研究对象的内容和统计工作过程通盘规划和统筹规划的综合。在大数据背景下, 面临两方面挑战。一是一套表设计不专不全。目前实施的一套表制度, 还不完全是真正意义上的一套表, 一方面, 仍存在多头设计、专业布置、分别收集、分别审核、分别汇总处理, 仅仅是各种报表在数据处理程序上的简单汇集而已;另一方面, 针对住户和个人调查的内容、部门以及“三下”单位仍没有纳入一套表。二是统计标准化较难。《统计法》虽然赋予国家统计局对部门统计调查项目的管理权、部门标准的审批权, 但在实际工作中由于工作性质、职责权限和业务流程的不同, 政府综合统计和政府部门统计对数据采集的管理不统一、不规范, 指标口径范围不可能完全相同, 容易出现数据打架或者数出多门的现象。 2. 数据采集模式不够健全 数据生产过程分为数据收集、整理和分析三大阶段。一是数据采集模式。2012年, 我国采用一套表网上直报制度, 实现各级共享, 但仍然没有从根本上改变“我布置, 你填报”的传统数据采集模式, 如果统计调查工作人员责任心不强或者调查对象配合程度不高, 那么数据质量难以有效控制。二是数据整理模式。目前, 我国数据生产模式主要以结构化数据处理为主, 采用超级汇总方法得到。三是数据分析模式。在政府统计领域, 部门对数据信息的敏感度不强, 应用数据信息指导工作的意识不够, 导致很多数据资料并未被真正利用起来;同时, 数据分析应用仍然处于低端水平, 一般以描述性统计分析为主、短期性分析为主, 对于长期性、趋势性分析仍然较少, 还未形成一套完整的数据综合分析应用体系, 因此造成数据服务决策的参考作用不明显。 3. 我国数据公布内容不全 一是数据发布时间滞后。2002年, 中国正式加入国际货币基金组织数据公布通用系统 (GDDS) , 但我国的统计实践与GDDS和SDDS (数据公布特殊标准) 的要求仍然存在一定距离。二是数据发布内容不全。目前, 政府统计往往公布一个结果性的、汇总性的数据, 而对于调查原始性、个性化数据提供较少, 难以真正实现统计生产全过程共享, 这就可能导致很多学者、研究人员处于想研究但无原始数据的尴尬。 4. 构建以调查对象为核心的表体系。在实体 一是服务较为被动。一直以来, 我国的政府统计部门以党政机关为服务对象, 对于广大社会群体对数据产品需求服务仍然较少, 缺乏服务主动性。二是服务链较短。由于政府统计往往公布一个结果性的、汇总性的数据, 导致有些统计数据与社会公众真实感受可能不一致, 这既可能是由于方法制度不完善造成的, 也有可能是宣传不到位和信息解读不够等原因造成, 换句话说服