人工智能导论 第2版+电子课件-第6章 机器学习（3）-统计学习.pdf

人工智能导论

AGuidetoArtificsialIntelligense.

通學

L

版本：3.0

2020年10月

XTTnCM1TMLZGLNCE

第六章机器学习

6.1概述

6.2决策树学习

6.3贝叶斯学习

6.4统计学习

与

6.5聚类

6.6特征选择与表示学习

6.7其他学习方法

西安文通大學

XIANJIAOTONGUNIVERSITY

6.4统计学习

G.4.1统计学习理论

☆传统的统计学理论，即Fisher理论体系的前提条件

◆已知准确的样本分布函数

◆并且采样无穷多为

☆V.Vapnik提出小样本(有限样本)统计学习理论

◆小样本统计学习理论基于对学习错误(过学习，

overfitting)和泛化能力之间关系的定量刻画，

◆不仅避免了对样本点分布的假设和数目要求

◆还产生了一种新的统计推断原理结构风险最小化原

理。

☆函数估计模型

(1)G表示产生器，用于产生输入向量x;

的输出y,并且输入和输出遵从某个未知联合概率F(x,y);

决定了不同的学习函数。

★学习的问题就是从给定的函数集f(x,a),a∈A中选择出能最好地逼近训练

器响应的函数。

期望风险

☆损失的数学期望值就称为风险泛函(risk

functional),也称为期望风险。

☆学习的目标就是最小化风险泛函R(a),即风险最

小化问题。

常见损失函数

★0-1损失函数

★L1损失函数，即绝对值损失函数

L(y,f(x,a)二x-fCx

★L2损失函数，即平方损失函数

L(y,f(x,a))FY十(X

常见损失函数

★对数损失函数，即对数似然损失函数，也常称之为交

叉熵损失函数

L(p(x,a))-logp(x,a)

二分类时，即Dy∈{0.1}时

L(y,f(x,a)-ylogp(x,a)¹“log

★指数损失函数

★Hinge损失函数SVN的损失函数(1

经验风险

☆实际问题中，联合概率F(x,y)是未知的，所以就无

法用风险泛函直接计算损失的期望值，也无法最小

化。于是实践中常用算术平均代替数学期望，从而

得到经验风险泛函

☆当N→∞时，经验风险Remp(a)才在概率意义下趋

近于期望风险R(a)。传统的学习方法大多都是使经

验风险最小化(Empinicalriskminimization

ERM)。

小样本统计学习理论

☆即使样本数目很大，也不能保证经验风险的最小值与期望风

险的最小值相近。

☆所以统计学习理论就要研究在样本数目有限的情况下，经验

风险与期望风险之间的关系。其核心内容包括一下4点：

◆在什么条件下，当样本数目趋于无穷时，经验风险Remp(a)最优5

值趋于期望风险R(a)最优值(能够推广),其收敛速度又如何