天津人工智能F学院之线性模型.pptx

第3章 线性模型;; 例如在西瓜问题当中学得： 这样的模型ω确定可以直观的表达出色泽，根蒂和敲声中根蒂最要紧，敲声比色泽更重要。 3.2 线性回归 给定一个数据集 其中 “线性回归”试图学得一个 线性模型以尽可能准确地预测实值输出标记。 忽略属性下标即 若属性值间存在”序”关系可通过连续化将其转化为连续值。;线性回归试图学得： 如何确定ω和b，现在关键是在于如何衡量 与y之间的差别。均方误差是回归任务重最常见的性能都度量，因此我们可以让均方误差最小化，即 均方误差的几何意义欧几里得距离简称“欧式距离”欧式距离：是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度，在二维和三维空间中的欧氏距离就是两点之间的实际距离。基于均方误差最小化来进行求解的方法称为“最小二乘法”，在线性回归中最小二乘法就是试图找到一条直线，使所有的样本到直线的欧式距离之和最小。 ;求解ω和b使均方误差最小的过程，称为线性回归模型的最小二乘法“参数估计”我们可将 分别对ω和b求导得到： 然后令式（3.5）和（3.6）为零可得到ω和b最优解的闭式解 ;更一般的情形如本节开头的数据D,样本由d个属性描述，此时我们试图学得 这称为“多元线性回归”。 我们把ω和吸收入向量形式 相应的把数据D表示为一个m×(d+1)大小矩阵X，其中每行对应一个示例，该行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即 ;再把标记也写成向量形式Y= ，则类似于（3.4）有 令 ，对 求导可得 当 为满秩矩阵或者是正定矩阵时令（3.10）为零可得 令 则最终学得的多元线性回归模型为 ;解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是??题的解, 他人可以利用这些公式计算各自的问题. 所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。 解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，我们皆可将其带入解析函数求得正确的相应变量。 因此，解析解也被称为闭式解。 ;然而在线实中有很多的 都不是满秩的例如，在许多任务中我们会遇到大量的变 量，其数目甚至会超过样例数，导致X的列数多于行数， 显然不满秩，此时可解出多个模型的系数的解，他们都能使均方误差最小化，选择哪一个作为输出，将有学习算法的归纳偏好决定，常见的做法是引入正则化。 正则化：是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。 通俗定义：就是给平面不可约代数曲线以某种形式的全纯参数表示。 对于样例(X；y)，y为实数；为了便于观察，我们把线性模型简写为 线性模型简单，却有丰富的变化，我们可以考虑让模型的预测值逼近y的衍生物呢？ 假设我们人为的示例对应输出的标记是在指数尺度上的变化，那我们可以将输出标记的对数作为输出作为线性模型逼近的目标，即 ;它实际上是在试图让 逼近式（3.14）在形式上仍是线性回归，但实质上已是在求输入空间到输出空间的非线性函数的映射，如图3.1所示。这里的对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用。 ;3.3对数几率回归 上一节讲讨论了线性回归模型的回归学习，线性模型能做分类任务的回归学习吗？二分类任务输出标记y={0.1},而线型模型产生的预测值是 是实值于是我们考虑将z实值转换为0/1值，对于0/1值最理想的函数是“单阶跃函数”;单位阶跃函数不连续于因此不能直接用作式（3.15）中。我们需要找到一个替代函数，并希望它单调可微，对数几率函数