- 1、本文档共45页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
[信息安全基础0密码编码学与网络安全[信息安全基础0密码编码学与网络安全[信息安全基础0密码编码学与网络安全
向量和矩阵的范数
马玉玲
2017年03月08日
1
Outline
1.相关概念——学习、误差和目标函数
2.范数概念
3.向量的范数及含义
4.矩阵的范数及含义
2
Outline
1.相关概念——学习、误差和目标函数
2.范数概念
3.向量的范数及含义
4.矩阵的范数及含义
3
Basis knowledge
相关概念——学习
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
4
利用经验,改善执行某任务时的系统性能。
Basis knowledge
相关概念——学习
5
Basis knowledge
相关概念——学习
6
Basis knowledge
相关概念——学习
备注:表来自周老师西瓜书课件
7
Basis knowledge
相关概念——学习
函数y=f(x)
备注:本页ppt来自周老师西瓜书课件
8
Basis knowledge
相关概念——学习
线性模型y=wTx+b
备注:表来自周老师西瓜书课件
x(1)
x(2)
x(3)
插
值
法
9
Basis knowledge
相关概念——学习
备注:表来自周老师西瓜书课件
10
Basis knowledge
Empirical error:
Generalization error:
Error parameter:
Predict wrongly
I(a): 1 if a=true
0 else
相关概念——误差
假定数据集D
The value of ε is dependant on the task
11
相关概念——目标函数
一般来说,监督学习可以看做最小化下面的目标函数:
误差项
正则化项
正则化项可以约束模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中。
范数是正则化的常用方法
12
Outline
1.相关概念——误差和目标函数
2.范数概念
3.向量的范数及含义
4.矩阵的范数及含义
13
范数的概念
范数的目的:对向量及矩阵的“大小”进行度量
14
向量的范数
X∈Rn 为一实向量,X的范式定义如下:
L1-norm
L2-norm
L∞-norm
L0范数:指向量中非0的元素的个数
X=[-1 2 -2 ]
||X||0= 3
||X||1= 5
||X||∞= 2
||X||2= 3
15
范数的含义
L0范数:指向量中非0的元素的个数
最小化L0范数
数据稀疏的好处:
存储成本低
2. 自动实现特征选择(Feature Selection)
3. 可解释性强(Interpretability)
应用:病因分析
但是,L0范数很难优化求解,是一个NP-Hard问题。
稀疏
16
范数的含义
L1范数:
L1范数是L0范数的最优凸近似,而且它比L0范数要容易优化求解。所以L1范数被称为“稀疏规则算子”(Lasso )
taxicab Norm,也叫Manhattan Norm
稀疏编码
特征选择
压缩感知
17
范数的含义( 续…)
L2范数:又称“岭回归”(Ridge Regression),“权值衰减(weight decay)”, Euclidean Norm
最小化L2范数,可以使得X的元素值都很小,大都接近于0
18
范数的含义(L2-norm)
L2范数的好处:
1.改善“过拟合(overfitting)”
欠拟合underfitting
:训练集上误差很大,即模型不能很好地拟合已有数据;
关于“过拟合”:
在数学上称为“病态”(ill-condition):即函数的输入改变一点点,输出却改变非常大。
过拟合(overfitting)
:模型很好地拟合训练数据,然而在新样本上表现却很差。
L2范数限制了参数都很小,实际上就限制了多项式各分量的影响很小,一定程度上避免了模型出现“病态”的情况。
2.利于优化
19
范数的含义(L2-norm)
L2范数的好处:
1.改善“过拟合(overfitting)”
2.利于优化
机器学习中有时候损失函数是非凸的,例如:神经网络。采用梯度下降之类的优化方法时,容易卡住(Stuck in),导致很差的解。
非凸的损失函数
加入L2范数后
20
知识扩展——稀疏性分析:
模型空间限制在w的一个L-ball 中。在(w1, w2)平面上可以画出目
文档评论(0)