人工智能3监督学习方法.pdf

《人工智能：算法的视角》卷一草稿 第三章 监督学习方法 第 3 章 监督学习方法 如第 2 章所述，监督学习中的训练数据为标注数据，即输入-输出数据对，具有输入与 期望输出之间的对应关系。这说明通过监督学习得到的结果是与标注数据中输入与输出之间 对应关系相符合的映射关系。从计算的角度来看，输入与输出之间的映射关系是函数，因此 从计算实质上来说，监督学习问题是函数的学习问题，即从预先给定的若干输入与输出之间 的对应关系，获得与之符合的最优函数，以用于针对任意输入，特别是没有见过的输入，机 器能输出理想的结果。在数学等相关领域，这样的问题往往也被称为函数估计（estimation ）、 拟合（fitting ）或回归（regression ）。 从学习最优函数的角度，监督学习方法的设计要素中需要考虑的问题有： 1) 函数形式如何？比如，是确定函数还是随机函数？是离散函数还是连续函数？是多 项式函数还是三角函数？等等。限定了函数形式，实际上使学习算法具有了第二章所到的 绝对偏置。另外，函数形式并非越复杂越好，其原因请参见上一章关于过学习问题的阐述。 2) 函数的优化如何达到？目前主要是指在确定函数形式后如何确定其中最优的参数。 但函数形式的优化问题也得到了一定的关注，特别是在一个给定的函数族中如何确定最佳的 函数形式的问题。函数优化问题可进一步分为两个基本子问题：a ）优化目标如何确定？b ） 优化算法如何设计？ 本章在上述认识基础上，围绕函数形式设计与优化计算这两个关键点，首先说明有哪些 函数表达形式和优化目标，然后在此基础上阐述目前主要的监督学习方法，包括记忆学习、 决策树学习、支持向量机和贝叶斯学习，每类学习方法分别对应于四种典型的函数表达形式， 其中记忆学习对应于数据点表示形式；决策树学习对应于离散函数；支持向量机对应于连续 线性函数；贝叶斯学习对应于随机函数，具体请见下面各节的叙述。此外，人工神经网络中 的许多学习算法，如误差反向传播（Back-Propagation, BP ）算法等，也属于监督学习范畴， 而神经网络本身也是一种特定的函数表达形式，即 3.1 节所述的隐式表示形式。这些将在本 书神经网络部分再做深入阐述，本章不予叙述。 3.1 函数形式 对于函数形式，人们一般首先想到的会是形如 ( )的形式。事实上，除了这种显 y = f x 式表达形式外，还存在隐式表示形式和数据点表示形式。 3.1.1 显式表示形式 这是最直观的函数表示形式，用人们熟悉的离散或连续函数形式来进行显式的表达，既 有确定型的函数，如线性函数、分段线性函数、多项式函数、指数函数、等；也有随机型的 函数，如离散的概率质量函数、连续的概率密度函数、等。 实际应用中，在缺乏先验信息的情况下，通常不太好确定具体的函数形式，此时通常采 1 用基函数 （basis function ）加权求和的形式来进行表达： K y = ∑k B (x ) , （3-1） i i i=1 北京理工大学计算机学院 刘峡壁 《人工智能：算法的视角》卷一草稿