人工智能创新实验教程 课件 第3章 机器学习基础.pptx

宁夏大学第三章机器学习基础

www.islide.cc2目录

CONTENT01引言02机器学习的三要素03评估方法04本章小结

01引言

引言 通俗地讲，机器学习（MachineLearning，ML）就是让计算机从数据中进行自动学习，得到某种知识（或规律）。作为一门学科，机器学习通常指一类问题以及解决这类问题的方法，即如何从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行预测.在早期的工程领域，机器学习也经常称为模式识别（PatternRecognition，PR），但模式识别更偏向于具体的应用任务，比如光学字符识别、语音识别、人脸识别等。这些任务的特点是，对于我们人类而言，这些任务很容易完成，但我们不知道自己是如何做到的，因此也很难人工设计一个计算机程序来解决这些任务。一个可行的方法是设计一个算法可以让计算机自己从有标注的样本上学习其中的规律，并用来完成各种识别任务。随着机器学习技术的应用越来越广，现在机器学习的概念逐渐替代模式识别，成为这一类问题及其解决方法的统称。

02机器学习的三要素

1模型?

1模型?

1模型 以上提到了很多种当前热门的机器学习模型，在后面的文章都会详细介绍。判别模型和生成模型，两者的差别就在于是否先对联合概率P(y|x)建模。学术界对两种模型各自都有不同的声音，主要是针对条件概率P(y|x)的方法应该直接建模还是用P(y|x)间接建模有分歧：SVM之父Vapnik的观点是生成模型的第一步是先对联合概率P(y|x)建模，这个做法没必要，对P(y|x)直接进行建模就行了，事实上这学术界主流认识；而AndrewNg为生成模型发声，他认为对P(y|x)进行建模从而达到判别的目的也有它自身的一些优势：虽然生成模型的渐进误差（Asymptoticerror）确实是比判别模型的大，但随着训练集增加后，生成模型会比判别模型更快得达到渐进误差（收敛速度更快）。

2学习策略 在模型部分，机器学习的学习目标是获得假设空间（模型）的一个最优解，那么如何评判优还是不优？策略部分就是评判“最优模型”（最优参数的模型）的准则或方法。了解机器学习的策略，最关键是掌握10个名词：欠拟合（Underfitting）、过拟合（Overfitting）、经验风险（Empiricalrisk）、经验风险最小化（Empiricalriskminimization,ERM）、结构风险（Structuralrisk）、结构风险最小化（Structuralriskminimization,SRM）、损失函数（Lossfunction）、代价函数（Costfunction）、目标函数（Objectfunction）、正则化（Regularization）。 为了理解这些名词，我们从一个例子开始说起，如图所示：

2学习策略?

2学习策略?

3优化准则 通常来说，最小值必然是极值点，而连续函数的极值点可以通过求一阶导数并令导数等于0，最后找到值最小的极值点，就是最小值点。而在机器学习中，由于目标函数的复杂性，普通解法绝大多数情况行不通，这个时候需要一些别的算法。机器学习求解目标函数常用的算法有最小二乘法、梯度下降法（属于迭代法的一种），最小二乘法针对线性模型，而梯度下降法适用于任意模型，适用最为广泛。

3优化准则?

3优化准则?

3优化准则 下面给出梯度下降图以便于直观理解

3优化准则 梯度下降法由于可对任意函数求最优解，故在机器学习中广泛使用；但GD也有如下明显的缺点: 1.从上面迭代公式可以看到，GD是线性收敛，所以收敛速度较慢； 2.当目标为非凸函数时，GD求得的解不保证是全局最优解。 根据梯度下降算法进而衍生的有： 批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新。 随机梯度下降法，其实和批量梯度下降法原理类似，区别在与求梯度时没有用所有的m个样本的数据，而是仅仅选取一个样本j来求梯度。 小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷，也就是对于m个样本，我们采用x个样子来迭代，1xm。一般可以取x=10，当然根据样本的数据，可以调整这个x的值。

03评估方法

1评估方法 机器学习的目的是使学得的模型能很好的适用于“新样本”，即使得模型具有泛化能力。但太好的模型可能因为学习器学习能力过于强大，进而把训练样本本身的特有性质当做所有潜在样本都会具有的一般性质，进而导致泛化能力减小，出现“过拟合”的情况。“欠拟合”是由于学习器没有通过训练样本学习到一般性质。 P问题：在多项式时间内可解的问题；有效的学习算法必须是p问题，即在多项式时间内可以运行完成。np难问题：不知道这个问