感知机的损失函数与梯度（零基础易懂版）.docxVIP

感知机的损失函数与梯度（零基础易懂版）

一、先回顾感知机的基本结构

感知机本质是二分类线性模型，核心功能是对输入数据做“是/否”判断（比如判断图片里是猫/不是猫）。

1.感知机的数学表达式

对于单个样本(x,y)：

输入：x=(x1?,x2?,...,xn?)（n个特征），偏置项b（可看作x0?=1对应的权重）

权重：w=(w1?,w2?,...,wn?)

线性输出：z=w?x+b=∑i=1n?wi?xi?+b

激活函数（阶跃函数）：f(z)={1,?1,?z≥0z0?（标签y∈{1,?1}）

2.感知机的核心目标

找到一组最优的w和b，让感知机对所有样本的预测结果y^?=f(w?x+b)与真实标签y一致。

二、感知机的损失函数（为什么这么设计？）

1.直观的错误分类损失（不适合求导）

最直接的想法是统计“分类错误的样本数”作为损失：L=错误分类的样本数量但这个损失函数是离散的、不可导的（样本数是整数，没有连续的梯度），无法用梯度下降优化，因此需要设计“连续可导”的替代损失。

2.感知机的标准损失函数（合页损失的简化版）

感知机的损失函数基于误分类样本到决策边界的距离设计，核心公式：L(w,b)=?∑xi?∈M?yi?(w?xi?+b)

M：所有误分类样本的集合（只有误分类样本才贡献损失，正确分类样本损失为0）

为什么是这个形