第3章线性模型.PDF

第 章 线性模型 正确的判断来自于经验，而经验来自于错误的判断。 线性模型 （ ）是机器学习中应用最广泛的模型，指通过样本 特征的线性组合来进行预测的模型。上一章中介绍的线性回归就是典型的线性 模型。给定一个 维样本[ ]T ，其线性组合函数为 1 (x w) = + + + + 1 1 2 2 = wTx 其中x = [1 ]T 和w = [ ]T 分别为 + 1 维的增广特征向 1 1 量和增广权重向量。 在线性回归问题中，可以直接用 (x w) 来预测输出目标。但在分类问题中， 由于输出目标是一些离散的标签或者是这些标签的后验概率（在[0 1]之间），而 (x w) 的值域为实数，因此无法直接用 (x w) 来进行预测，需要引入一个非 线性的激活函数 （ ） () 来预测输出目标。 1 在统计文献中， () 也称为联系函数（ (x w) = ( (x w)) ）。 = (wTx) 对于简单的两类分类问题， () 可以为阶跃函数： T +1 当 w x 0 (x w) = T 1 当 w x 0 公式 定义了一个典型的两类分类问题的线性决策函数，其结构如图所示。 年 月 日 第 章 线性模型 ∑ 0/1 . 激活函数 . . 权重