logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

统计学习方法概论.pdf 32页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:1.2 MB
下载过该文档的会员
统计学习方法概论
你可能关注的文档:
目录 1. 统计学习 2. 监督学习 3. 统计学习三要素 4. 模型评估与模型选择 5. 正则化与交叉验证 6. 泛化能力 7. 生成模型与判别模型 8. 分类问题 9. 标注问题 10. 回归问题 一、统计学习 统计学习的对象 data :计算机及互联网上的各种数字、文字、图像、视 频、音频数据以及它们的组合。 数据的基本假设是同类数据具有一定的统计规律性。 统计学习的目的 用于对数据 (特别是未知数据)进行预测和分析。 统计学习 统计学习的方法 分类:  Supervised learning  Unsupervised learning  Semi-supervised learning  Reinforcement learning 监督学习:  训练数据 training data  模型 model 假设空间 hypothesis  评价准则 evaluation criterion 策略 strategy  算法 algorithm 统计学习 统计学习的研究:  统计学习方法  统计学习理论 (统计学习方法的有效性和效率和基本理论)  统计学习应用 二、监督学习 Instance ,feature vector ,feature space 输入实例x 的特征向量:  x(i)与x 不同,后者表示多个输入变量中的第i个 i 训练集: 输入变量和输出变量: 分类问题、回归问题、标注问题 监督学习 联合概率分布 假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y) P(X,Y)为分布函数或分布密度函数 对于学习系统来说,联合概率分布是未知的, 训练数据和测试数据被看作是依联合概率分布P(X,Y)独立 同分布产生的。 假设空间 监督学习目的是学习一个由输入到输出的映射,称为模型 模式的集合就是假设空间 (hypothesis space ) 概率模型:条件概率分布P(Y |X), 决策函数:Y=f(X) 监督学习 问题的形式化 三、统计学习三要素 模型: 决策函数的集合: 参数空间 条件概率的集合: 参数空间 统计学习三要素 策略 损失函数:一次预测的好坏 风险函数:平均意义下模型预测的好坏 0-1损失函数 0-1 loss function 平方损失函数 quadratic loss function 绝对损失函数 absolute loss function 统计学习三要素 策略 对数损失函数 logarithmic loss function 或对数似然损失 函数 loglikelihood loss function 损失函数的期望 风险函数 risk function 期望损失 expected loss 由P(x,y)可以直接求出P(x |y),但不知道, 经验风险 empirical risk ,经验损失 empirical loss 统计学习三要素 策略:经验风险最小化与结构风险最小化 经验风险最小化最优模型 当样本容量很小时,经验风险最小化学习的效果未必很 好,会产生 “过拟合over-fitting ” 结构风险最小化 structure risk minimization ,为防止过 拟合提出的策略,等价于正则化 (regularization ),加 入正则化项regularizer ,或罚项 penalty term : 统计学习三要素 求最优模型就是求解最优化问题: 统计学习三要素 算法: 如果最优化问题有显式的解析

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

©2010-2013 max.book118.com在线文档投稿赚钱网. All Rights Reserved 蜀ICP备08101938号