《智能建造数字技术基础》课件 第4章 数据管理及分析.pptx

;;;;数据库技术;数据库技术;数据格式的标准化;数据格式的标准化;;描述统计;信度与效度分析;假设检验;相关分析;方差分析;判别分析;ROC曲线分析;ROC曲线分析;时间序列分析;分析方法小结;;人工智能的发展历程;人工智能的分类与发展现状;人工智能的基本理论;人工智能的基本理论;机器学习的基础;机器学习的分类;机器学习的分类;机器学习的分类;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;浅层学习的算法概述;深度学习的算法概述;深度学习的算法概述;深度学习的算法概述;深度学习的算法概述;深度学习的算法概述;深度学习的算法概述;强化学习的算法概述;强化学习的算法概述;迁移学习;预测模型的验证与评价;在AI分析中,通常有3种数据:训练集、评估集和测试集。如果将已知的全部用于训练,有时候会发现尽管拟合程度很好,但是对于训练集之外的测试数据的拟合程度却并不令人满意。其原因一般在于在模型训练时的过拟合。

因此,将数据集分出一部分来（这部分不参加训练）对训练集生成的参数进行测试,相对客观地判断这些参数对训练集之外的数据的符合程度,这种思想就称为交叉验证（CrossValidation）,常用的方法有k折交叉验证和留一验证。;通常我们把训练集上的误差称为训练误差,把新样本上的误差称为泛化误差。而我们的目标就是要得到泛化误差小的模型,泛化误差越小越好。泛化误差可分解为偏移的平方、方差和噪声之和。;针对分类的AI模型，其主要的评估指标有：;针对分类的AI模型，其主要的评估指标有：;针对分类的AI模型，其主要的评估指标有：;衡量回归模型的指标相对较为简单，主要通过向量的距离和误差来评价。

（1）基于向量距离

主要指标有欧氏距离、曼哈顿距离、马氏距离、余弦距离等，通过回归值与实际值之间的距离来评价模型的性能。

（2）基于误差

主要指标有平均绝对误差（MAE）、平均平方误差、均方根误差、决定系数等。

衡量聚类模型的指标则有兰德指数、互信息和轮廓系数等。;;关于大数据（bigdata或megadata），麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。;大数据分析的主要思维模式包括以下几种：

（1）数据驱动思维：

数据是大数据分析的核心，数据驱动思维是指在大数据分析中，数据是主导因素，通过对数据的分析来发现问题、解决问题。

（2）业务驱动思维：

业务驱动思维是指在大数据分析中，业务需求是主导因素，通过对业务需求的理解和分析来发现问题、解决问题。

（3）系统思维：

系统思维是指在大数据分析中，需要从整体上看待问题，将各个部分看作一个整体，从而找到问题的根源和解决方案。

（4）创新思维：

创新思维是指在大数据分析中，需要不断地创新和尝试新的方法和技术，以提高分析效率和准确性。;大数据的分析;大数据的分析;大数据在智能建造中的应用;