人工智能通识教程（理工版）教学课件第7章课件.pptxVIP

人工智能通识（理工科）;主要内容;7.1机器学习概述

;机器学习概述

;机器学习概述

;机器学习的发展历程;早期理论奠基（1940s–1960s）：探索机器如何从数据中学习规律

1943年：McCullochPitts提出人工神经元模型。

1957年：Rosenblatt发明感知机（Perceptron），成为首个可训练的神经网络模型。

局限：算力不足，理论未成熟，感知机无法解决非线性问题。;线性可分;统计学习时代（1970s–2000s）：基于概率与统计的模型成为主流，依赖特征工程

1980s：决策树（ID3算法）等学习方法出现。

1990s：支持向量机（SVM）在分类任务中表现优异。

1990s~2000s：集成学习（如AdaBoost、随机森林）提升模型鲁棒性。;深度学习革命（2010s–至今）：大数据、GPU算力提升、算法突破

1986年：辛顿团队验证并推广了反向传播算法，证明多层感知机可以解决非线性问题。

2012年：AlexNet在ImageNet竞赛中夺冠（CNN的里程碑）。

2014年：生成对抗网络（GAN）提出，推动生成式AI技术的发展（生成器+判别器）。

2016年：强化学习崭露头角，AlphaGo击败人类围棋冠军。

2017年，Transformer架构出现，奠定大语言模型的基础。

当前趋势：大语言模型推动通用人工智能（AGI）探索，多模态学习（文本、图像、视频联合建模）;机器学习的分类;7.2机器学习算法概述;（1）线性回归;（2）决策树;（2）决策树;（3）支持向量机（SupportVectorMachines）;（3）支持向量机;（3）支持向量机;（4）聚类（Clustering）;（4）聚类（Clustering）;（5）K近邻;（6）人工神经网络—神经元;（6）人工神经网络—神经元;（6）人工神经网络—神经元;（6）人工神经网络;全连接神经网络（多层感知机）;（6）人工神经网络;（6）人工神经网络;（6）人工神经网络—深度神经网络;（7）深度学习;(8)强化学习;7.3机器学习的训练过程;机器学习的训练过程-损失函数;机器学习的训练过程-损失函数;为了保证机器学习模型更好的训练效果和泛化能力，通常需要将数据集划分为训练集、验证集和测试集

训练集是模型学习的主要数据源，模型通过遍历训练集中的数据，不断调整内部参数，以最小化损失函数，从而学习到数据的潜在规律和特征

验证集主??用于在训练过程中评估模型的性能，以便进行模型选择、参数调整等

测试集用于在模型训练完成后，评估模型的最终性能

;1）留出法

留出法直接将数据集划分为两个互斥的集合，其中一个作为训练集，一个作为测试集。

留出法对训练集和测试集进行比例分配时，如果训练集过大会导致模型更倾向于训练集，评估结果不够准确；如果测试集过大则评估的结果差异较大，降低了评估的真实性，所以通常的做法是将2/3~4/5的样本用于训练，剩余样本用于测试。

留出法仅适用于数据集样本量较大的情况。当训练样本量较小时，机器学习算法缺少充分的训练样本，可能导致训练不充分，模型欠拟合。;2）K折交叉验证法

K折交叉验证首先将数据集随机近似等分为不相交的K份，称为K折；其后，令其中的K-1份作为训练集，剩余的一份作为测试集。与留出法相似，为了减小因为样本划分不同而引入的差别，K折交叉验证通常要随机重复K次，获得K组训练集和测试集，进行K次训练和测试，最终计算K个测试结果的平均。实际应用中一般采取10次10折交叉验证。

;损失函数提供了预测值与实际值之间的差异，但是这个差异如何指导模型参数的更新呢？训练的目标是找到最小的误差值，从而得到与实际值误差最小的预测值。

1）梯度下降的原理

梯度下降的基本思想是：沿着损失函数关于模型参数的梯度的反方向移动，可找到损失函数的最小值。梯度是一个向量，指向损失函数增长最快的方向。对于多元损失函数来说，梯度的每个分量是损失函数对每个参数的偏导数。当损失函数是一元函数时，可认为梯度就是斜率，即函数的导数。;梯度下降的示例

;?;机器学习的训练过程-梯度下降;机器学习的训练过程-梯度下降;前馈神经网络的参数优化过程主要分为两个阶段：正向计算和反向传播。

正向计算指的是输入数据从输入层依次经过隐藏层的各层神经元进行逐层计算，通过输出层进行输出，实现神经网络的预测。

反向传播指的是根据神经网络的预测值以及实际值（标签）计算损失函数值，将损失函数值对于神经网络的连接权重（参数）的梯度沿着正向计算路径进行反向传递，并对各个神经元之间的连接权重按照梯度进行调整和优化。经过多次正向计算预测值和反向传播误差值，优化神经网络的连接权重（参数），最终实现误差尽可能最小，拟合复杂的输入数据和输出数据之间的映射关系。;1）正向计算

下面以一个