大数据与统计新思.pptVIP

大数据与统计新思维 李 金 昌 2013.12.6 统计学的发展，是根据数据的型态和问题的本质来改变的，不是因为我们会做他背后的数学而发展的。不要因为(统计的)问题困难而去做它；也不要因为它难而不做。(贺吉士J.L. Hodges, Jr. , 1922-2000) 统计学的味道，来自她的数据，因为这是她的本质。 显然，数据就是统计学的材料，那么“大数据”对统计学来说意味着什么？ 一、对大数据的初步认识 到底什么是大数据？从统计学的角度看，大数据不是基于人工设计而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以量化、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据，其最大特征就是数字化基础上的数据化。 大数据是一个整体，需要关注的是其中蕴含的信息。 如果说，传统的统计数据是有意收集的样本数据，那么大数据则是一切可以收集和存储的、源源不断的海量数据。 前者是按抽样设计方案获得的格式化的数据，不仅数据量有限，而且如果过程偏离方案，数据就不能满足要求；后者是一切可以通过现代信息技术收集和量化的数据，不仅信息量大，而且不受各种框框的限制——数据多多益善。 大数据的最大优点是，样本不足以呈现的某些规律，大数据得以体现了；样本不足以捕捉的某些弱小信息，大数据可以覆盖了；样本中被认为异常的值，大数据得以认可了。 这里，我们自然想到了大量观察与大数据这两个概念的区别，前者是指足够量的观察，需要精确计算样本量；后者是指不限量的数据，需要尽量多地将各种信息数据化。 样本数据与大数据有什么不同？ 统计学的研究对象没有变，变的是数据的来源、体量、类型、速度与量化的方式 这种变化对统计研究带来了什么样的挑战？《大数据时代》提出了三个最显著的变化，一是样本等于总体，二是不再追求精确性，三是相关分析比因果分析更重要。 这些观点有的地方值得商榷，但至少告诉我们这样一个道理：统计研究的对象基础变了，统计思维也要跟着变化，否则统计研究的对象只是全部数据的5%，而且越来越少，那又怎么能说统计学是一门关于数据的科学呢？ 二、统计思维的变化 当然，统计思维的变化应该以一个永恒不变的主题为前提，那就是通过数据分析揭示事物的真相，这个真相就是事物的生存规律、联系规律和发展规律。也就是说要以数据背后的数据去还原事物的本来面目，达到求真的目的。 如果说我们原来只能根据有限的样本数据去实现这个目的，那么现在可以在很多方面借助大数据去实现这个目的，关键就看我们开展数据分析的能力有多大，或者说从一切数据中提取有价值信息的能力有多大。而这又首先取决于统计思维。 首先，认识数据的思维要变化 与传统数据相比，大数据不仅仅是体量大、变化快，而且其来源、类型和量化方式都发生了根本性的变化，使得数据杂乱、多样、不规整。 从来源上看，传统的数据收集具有很强的针对性，数据的提供者大多确定，身份特征可识别，有的还可以进行事后核对；但大数据通常来源于物联网，不是为了特定的数据收集目的而产生，而是人们一切可记录的信号，并且身份识别十分困难。从某种意义上讲，大数据来源的微观基础是很难追溯的。 从类型上看，传统数据基本上是结构型数据，格式化、有标准；但大数据更多的是非结构型数据或异构数据，包括了一切可记录、可存储的标识，多样化、无标准，并且不同的网络信息系统有不同的数据识别方式，相互之间也没用统一的数据分类标准。而且，现在有的数据库是非关系型的数据库，不需要预先设定记录结构，包容了大量各种各样的数据。 结构化数据，可用二维表结构来逻辑表达实现的数据，如数字、符号。可直接计数、计量、计算的数据。特点：先有结构、再有数据； 非结构化数据，不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等，特点：先有数据、再有结构； 半结构化数据，介于完全结构化数据和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。 从量化方式上看，传统数据的量化处理方式已经较为完善，但大数据中大量的非结构化数据如何量化、如何从中提取信息、如何与结构化数据对接是一个崭新的问题。可以说，大数据是杂乱的、不规整、良莠不齐的，但我们不能因此而回避它、拒绝它，只能接纳它，要将统计研究的对象范围从结构型数据扩展到一切数据，要重新思考数据的定义和分类方法，并以此为基础发展和创新统计分析的方法。 从某种意义上讲，没有无用的数据，只有不被欣赏的数据。 其次，收集数据的思维要变化 没有黏土，如何做砖？以往，找黏土，投入大而数据量有限；现在，备选“黏土”的体量与种类都极大地丰富，所要做的最重要工作就是比较