《机器学习及其应用》书籍 第2章 模型估计与优化-汪荣贵.pdfVIP

《机器学习及其应用》汪荣贵等编著 机械工业出版社2019 年第1 版 第二章 模型估计与优化 在机器学习领域，很多机器学习模型的输入输出规则在本质上都可以看成是某种映射函 数，作为初始模型的映射函数通常包含一组待定的未知参数，需要通过对训练样本的学习确 定这些参数的合理取值。因此，机器学习中有一大类模型的求解过程实际上是解决这些未知 参数的取值问题。通常使用对目标函数进行优化计算的方式获得参数取值。如果初始模型较 为简单，则模型求解的目标函数通常也较为简单。对于目标函数为线性函数的情形，可用单 纯形法等常用线性规划方法获得精确解，实现对所求优化模型的精确构造。然而，用于机器 学习模型优化的目标函数主要是非线性函数或约束条件中含有非线性函数，通常称这类优化 计算问题为非线性规划问题。目前还没有针对此类优化计算问题的通用精确解法，通常使用 具有针对性的近似计算方法进行模型参数求解，构造具有一定精度的近似优化模型。对于比 较简单的非线性目标函数，通常使用参数估计方式直接对模型参数进行近似估计。对于较为 复杂的非线性目标函数，直接对其进行参数估计一般难以取得满意的效果，此时通常使用迭 代计算或动态规划方式逐步优化模型参数估计值，使得模型性能得到逐步提升并达到最优或 近似最优。此外，还需采用一些特定策略对模型做正则化处理尽量消除模型中可能存在的过 拟合现象。本章主要介绍模型求解的近似计算方法，首先简要介绍模型参数估计的基本方法； 然后介绍几种常用的模型优化近似计算方法，包括基本的近似优化方法和概率型近似优化方 法；最后介绍模型正则化的基本概念和常用策略。 2.1 模型参数估计 对机器学习模型的参数直接进行估计是一种最简单最直观的模型求解思路。显然，机 器学习模型的参数估计需要给出的是参数具体估计值，而不仅仅是参数的大致取值范围。 因此，机器学习模型的参数估计方法均为点估计方法。对于给定的机器学习任务，同一种 模型结构在采用不同模型参数时的性能一般会存在一定的差异，如何选择一组参数使得模 型对具体任务的表现达到最优是参数估计要解决的关键问题。本节简要介绍最小二乘、最 大似然和最大后验这三种机器学习中最常用的参数估计方法。 2.1.1 最小二乘估计 最小二乘估计是一种基于误差平方和最小化的参数估计方法。对于线性模型，其最小二 乘估计量是一种具有最小方差的无偏估计量，由最小二乘法求得的参数估计值是最优估计 值。此外，最小二乘法计算简单、易于理解且具有良好的实际意义。因此，最小二乘法是对 线性统计模型进行参数估计的基本方法。 如前所述，对于任意一个给定的示例 ，可将其表示为表征向量或特征向量的形式。不 失一般性，将样本集合中每个示例分别看成是一个特征向量。假设训练样本集为： ( ) ( ) ( ) S = { , , , , …, , } 1 1 2 2 可将其中示例 表示为特征向量 = ( , , …, ) ， 为示例 的第个特征。 1 2 1 《机器学习及其应用》汪荣贵等编著 机械工业出版社2019 年第1 版 线性模型的初始模型一般可写成 () = ，其中 = ( , , …, ) 为待求的参数向 1 2 量, 为某个示例的特征向量。对于训练样本集合中任意给定的一个示例 ，模型参数 的真