2025神经网络与深度学习线性模型.pptx

线性模型《神经网络与深度学习》2025

大纲分类问题示例线性分类模型LogisticRegressionSoftmaxRegressionPerceptronSVM

分类示例

示例：图像分类数据集：CIFAR-1060000张32x32色彩图像，共10类每类6000张图像

示例：图像分类数据集：ImageNet14,197,122images,21841synsets

示例：图像分类

示例：图像分类、目标检测、实例分割/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852

示例：垃圾邮件过滤

示例：文档归类/automated-text-classification-using-machine-learning-3df4f4f9570b

示例：情感分类

示例：文本分类将样本x从文本形式转为向量形式词袋模型（Bag-of-Words，BoW）模型

示例：文本情感分类根据文本内容来判断文本的相应类别+-

线性分类模型

线性模型

线性模型Logistic回归Softmax回归感知器支持向量机

LogisticRegression

LogisticRegression模型损失函数？

分类问题?如何构建函数g？

Logistic函数与回归Logistic函数Logistic回归?

学习准则?如何衡量两个条件分布的差异？??

熵（Entropy）在信息论中，熵用来衡量一个随机事件的不确定性。自信息（SelfInformation）熵熵越高，则随机变量的信息越多；熵越低，则随机变量的信息越少.在对分布??(??)的符号进行编码时，熵??(??)也是理论上最优的平均编码长度，这种编码方式称为熵编码（EntropyEncoding）?

交叉熵（CrossEntropy）交叉熵是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度。在给定??的情况下，如果p和??越接近，交叉熵越小；如果p和??越远，交叉熵就越大.

KL散度（Kullback-LeiblerDivergence）KL散度是用概率分布q来近似p时所造成的信息损失量。KL散度是按照概率分布q的最优编码对真实分布为p的信息进行编码，其平均编码长度（即交叉熵）H(p,q)和p的最优平均编码长度（即熵）H(p)之间的差异。

交叉熵损失??交叉熵损失?负对数似然KL散度???

梯度下降交叉熵损失函数，模型在训练集的风险函数为梯度为

推导过程

Logistic回归

多分类（Multi-classClassification）

Softmax回归多分类问题Softmax函数

Softmax回归利用softmax函数，目标类别y=c的条件概率为：

交叉熵损失KL散度??交叉熵损失?负对数似然?

参数学习模型：Softmax回归学习准则：交叉熵优化：梯度下降

交叉熵损失函数负对数似然损失函数对于一个三类分类问题，类别为[0,0,1]，预测类别概率为[0.3,0.3,0.4]，则

交叉熵损失???

感知器

感知器

感知器模拟生物神经元行为的机器，有与生物神经元相对应的部件，如权重（突触）、偏置（阈值）及激活函数（细胞体），输出为+1或-1。+1/-1

感知器??

感知器的学习过程表示分错对比Logistic回归的更新方式：

感知器参数学习的更新过程

收敛性

证明过程感知器的权重向量的更新方式为在第??次更新时感知器的权重向量为的上界的下界

支持向量机（SupportVectorMachine，SVM）红色点称为“支持向量”

总结

线性分类模型小结

不同损失函数的对比

XOR问题

特征如何处理非线性可分问题？

课后作业掌握知识点Logistic回归Softmax回归损失函数编程练习chap3_softmax_regression

谢谢