大数据概论及应用实践 课件 第八章大数据思维.pptx

第八章大数据思维大数据概论及应用实践IntroductiontoBigDataandApplicationPractice

第八章大数据思维在大数据时代，数据就是一座“宝藏”，而思维是打开宝藏的大门钥匙，只有建立符合大数据时代发展的思维，才能最大程度地挖掘出数据的潜在价值。所以，大数据的发展，不仅取决于大数据的资源的扩展，还取决于大数据的应用，更取决于大数据思维的形成。只有具备大数据思维，才能更好地运用大数据资源和大数据技术。也就是说，大数据发展必须是数据、技术和思维三大要素的联动。本章首先介绍传统的思维方式，并指出大数据时代需要新的思维方式，然后介绍大数据思维方式，包括全样儿非抽样，效率而非精确、相关而非因果、以数据为中心，“人人为我，我为人人”等，最后给出运用大数据思维的具体实例。

目录CONTENTS概述8.1传统的思维方式8.2大数据时代的思维方式8.3本章小结8.5习题8.6数据安全与隐私保护的对策8.4

概述PART01在大数据时代，数据就是一座“宝藏”，而思维是打开宝藏的大门钥匙，只有建立符合大数据时代发展的思维，才能最大程度地挖掘出数据的潜在价值。

PART02传统的思维方式 传统的思维方式可以定义为是机械思维，可以追溯到古希腊，它是思辨的思想和逻辑推理的能力，通过这些从实践中总结出基本的结论，然后通过逻辑继续延伸。

8.2传统的思维方式 传统的思维方式可以定义为是机械思维，可以追溯到古希腊，它是思辨的思想和逻辑推理的能力，通过这些从实践中总结出基本的结论，然后通过逻辑继续延伸，最有代表的欧几里得的几何学和托勒密的地心说。目前，大多数学者，普遍都遵循这机械思维。如果把他们的方法论做一个简单的概括，其核心思想有两点，一是需要有一个简单的元模型，这个模型可能是假设出来的，然后再利用这个元模型构建复杂的模型；二是整个模型要和历史数据相吻合。被广泛地应用在动态规划管理学上。另外一个典型的机械思维的案例是牛顿的方法论，核心思想可以概括成三点：第一，世界变化的规律是确定的；第二，因为有确定性做保障，因此规律不仅是可以被认识的，而且是可以用简单的公式或者语音描述清楚。这一点在牛顿之前，大部分人不认可，而是归结于神的作用。这些规律应该是放之四海皆准的，可以应用到各种未知领域指导实践，这种认知是在牛顿之后才有的。

PART03大数据时代的思维方式数据安全的重要性已经毋庸置疑，目前支撑数据全生命周期安全防护的技术也比较成熟。这里我们重点介绍密码学基础及关键技术、公钥基础设施、数字证书以及访问控制等技术和方案。

8.3大数据时代的思维方式在大数据时代，机械思维的局限性越来越明显，并非所有的规律都可以用简单的原理来描述，同时不确定性也无处不在。因此，如何在承认不确定性的情况下，如何去的科学上的突破，或者把事情做得更高，这就需要一种新的方法论的诞生。因此，大数据，不仅是一次技术革命，同时也是一次思维革命。从理论上来说，相对于人类有限的数据采集和分析能力，自然界和人类社会存在的数据是无限的。以有限对无线，如何才能慧眼识珠，找到人们所需的数据，无疑是一种思维的指引。因此，就像经典力学和相对论的诞生改变了人们的思维模式一样，大数也在潜移默化地改变人们的思想。维克托.迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中明确指出，大数据时代最大的转变就是思维方式的转变：全样儿非抽样、效率而非精确、相关而非因果。此外，人们解决问题的思维方式，正在朝着“以数据为中心”以及“我为人人，人人为我”的方式迈进。

8.3.1全样而非抽样过去，由于数据采集、数据存储和处理能力的限制，在进行科学分析中，通常采用抽样的方法，即从全集数据中抽取一部分样本数据，对这些样本数据进行处理分析，来推断出全集数据的总体特征。抽样的基本要求是要保证所抽取的样品单位相对全部样品具有充分的代表性。抽样的目的是从被抽取样本的分析、研究结果来估计和推断全部样本的特性，是科学实验、质量检验、社会调查等普遍采用的一种经济有效的工作和研究方法。但是，抽样分析方法有优点也有缺点。抽样保证了在客观条件达不到的情况下，可能得出一个相对靠谱的结论，提供一定的参考价值。但是，抽样分析的结果具有不稳定性。当下大数据时代，大数据技术的核心就是对数量数据能够进行实时采集、存储和处理。

8.3.2效率而非精确过去，采用抽样分析的方法，就必须追求分析方法的精确性，因为抽样分析只是针对部分样本的分析，其分析结果被应用到全集数据以后，误差极其容易被放大，这就意味着，抽样分析的极小误差，被放大到全集数据以后，可能就会变成一个很大的误差，导致出现“失之毫厘谬以千里”的现象。因此，为了保证误差被放大到全集数据时仍然处于可以接受