《计算机导论》课件_计算机导论第九章.pptxVIP

第九章大数据与人工智能9.1大数据9.2人工智能9.3大数据与人工智能的关系9.4大数据与人工智能的应用及社会问题

9.1大数据9.1.1大数据概述9.1.2数据科学和数据思维9.1.3大数据处理与可视化

9.1大数据9.1.1大数据概述关于大数据，到目前为止还没有一个统一的概念，常见的概念有三个。第一是维基百科给出的定义：无法在可承受的时间范围内用常规软件进行捕捉、管理和处理的数据集合；第二是研究机构Gartner给出的定义：需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产；第三是麦肯锡全球研究所给出的定义：一种规模大到在获取、存储、管理、分析方面都大大超出传统数据库软件工具能力范围的数据集合。大数据不仅体现在我们字面上理解的数据量巨大上，而是有四个方面的主要特点：第一，数据体量巨大。第二，数据类型繁多。第三，商业价值高，而价值密度却较低。第四，数据产生速度快。

9.1大数据9.1.2数据科学和数据思维数据科学。数据科学是以数据为中心的科学，是指导数据分析与处理的科学以及相关的系统理论与方法。数据科学通过系统性地研究数据的组织和使用，可以促进发现及改进关键决策过程。数据科学研究内容包括以下几个方面：（1）基础理论。（2）实验方法与逻辑推理方法。（3）领域数据学。（4）数据资源的开发方法和技术。2.数据思维数据思维是大数据时代的产物，是计算思维的最新的重要发展。数据思维首先要重视数据的全面性，而非数据的随机抽样性。其次是关注数据的复杂性，弱化精确性，要求对一个大的框架进行模糊的准确度趋势的判断。

9.1大数据9.1.3大数据处理与可视化大数据处理数据清洗。数据清洗是在用户确认的前提下，运用每个过滤规则认真进行验证、过滤和修正，而不仅仅是要将无用的数据滤除。不同的状况和不同性质的数据问题，所采用的清洗方法也有所不同，如：（1）缺失值处理如果数据中的某个或某些特征的值是不完整的，则这些值称为缺失值。对缺失值处理有以下几种方法：删除法删除法是指将含有缺失值的特征或者记录删除。替换法替换法是指用一个特定的值替换缺失值。插值法常用的插值法有热平台、冷平台、回归插补、多重插补等。数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。

9.1大数据9.1.3大数据处理与可视化（2）冗余属性处理冗余属性是指同一属性重复出现，同一属性命名不同，其他属性中包含另一属性或者很大程度上可以代表该属性。对冗余属性处理前，需要分析冗余属性产生的原因以及去除这部分属性后可能造成的不良影响（3）异常值处理常见的异常值是人为输入错误，常见的异常值处理方法有：删除含有异常值的记录：直接将含有异常值的记录删除。视为缺失值：将异常值视为缺失值，利用缺失值的处理方法进行处理。平均值修正：可用前后两个观测值的平均值修正异常值。不做处理：直接在含有异常值的数据及上进行数据分析、建模等操作。

9.1大数据9.1.3大数据处理与可视化数据集成。数据集成是指将多个数据源中的数据合并，并存放到一个一致的数据存储(如数据仓库)中的过程。数据变换。在数据变换中，数据被变换成适用于算法需求的形式，数据变换策略主要包含以下几种。（1）简单函数变换简单函数变换是对原始数据进行某些数字函数变换，常用的变换函数包括平方、开方、取对数和差分运算等。简单函数变换常用来将不具有正态分布的数据变换成具有正态分布的数据。（2）规范化规范化也称为数据标准化或归一化处理，是数据挖掘的一项基础工作。主要有几下几种规范化方法：min-max标准化、小数定标标准化、z-score标准化数据规约。在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约主要是为了在尽可能保持数据原貌的前提下，最大限度地精简数据量，得到原数据集的规约表示。常用的数据规约方法主要包括以下几种：（1）维规约。维规约指的是减少所考虑的随机变量或属性的个数。（2）数值规约：通过选择替代的、较小的数据形式替换原数据来减少数据量。（3）数据压缩：通过变换以便得到原数据的规约或“压缩”表示。

9.1大数据9.1.3大数据处理与可视化2.数据可视化数据可视化是将大型数据集中的数据以图形图像表示，并利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化技术的基本思想是将数据集中的每一个数据项作为单个图元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。一个典型的可视化分析过程如图9.2所示常用的可视化技术有直方图、盒状图、茎叶图、饼图、累积分布图、散点图、等高线图、曲面图、低维切片图、矩阵图、平行坐标系图等