logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

统计学感知机概论.pdf 28页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:1.64 MB
下载过该文档的会员
统计学感知机概论
你可能关注的文档:
目录 1. 感知机模型 2. 感知机学习策略 3. 感知机学习算法 一、感知机 感知机(Perceptron) 输入为实例的特征向量,输出为实例的类别,取+1和-1 ; 感知机对应于输入空间中将实例划分为正负两类的分离 超平面,属于判别模型; 导入基于误分类的损失函数; 利用梯度下降法对损失函数进行极小化; 感知机学习算法具有简单而易于实现的优点,分为原始 形式和对偶形式; 1957年由Rosenblatt提出,是神经网络与支持向量机的 基础。 感知机模型 定义(感知机): 假设输入空间(特征空间)是 输出空间是 输入 表示实例的特征向量,对应于输入空间 (特 征空间)的点,输出 表示实例的类别,由输入空 间到输出空间的函数: 称为感知机, 模型参数:w x ,内积,权值向量,偏置, 符号函数: 感知机模型 感知机几何解释: 线性方程: 对应于超平面S,w为法向量,b截距,分离正、负类: 分离超平面: 二、感知机学习策略 感知机学习策略 如何定义损失函数?  自然选择:误分类点的数目,但损失函数不是w,b 连 续可导,不宜优化。 另一选择:误分类点到超平面的总距离: 距离: 误分类点: 误分类点距离:: 总距离: 感知机学习策略 损失函数: M为误分类点的数目 三、感知机学习算法 概念 相关学术资源 应用 发展历程 国内外研究者 与数据挖掘的关系 相关学术期刊和会议 与统计学习的关系 感知机学习算法 求解最优化问题: 随机梯度下降法, 首先任意选择一个超平面,w ,b ,然后不断极小化目 标函数,损失函数L的梯度: 选取误分类点更新: 感知机学习算法 感知机学习算法的原始形式: 感知机学习算法 例:正例: 负例 感知机学习算法 解:构建优化问题: 求解:w ,b , 得线性模型:  感知机学习算法 得到线性模型: 如此继续下去: 分离超平面: 感知机模型: 感知机学习算法 算法的收敛性:证明经过有限次迭代可以得到一个将 训练数据集完全正确划分的分离超平面及感知机模型。 将b并入权重向量w ,记作: 定理:  感知机学习算法 则 感知机学习算法 证明: (1) 由线性可分, 存在超平面:  , 由有限的点,均有: 存在 使: 感知机学习算法  感知机算法在训练集的误分类次数k 满足不等式 , 证明:令 是第k个误分类实例之前的扩充权值向 量,即: 第k个误分类实例的条件是: 则w和b 的更新: 即: 感知机学习算法  感知机算法在训练集的误分类次数k 满足不等式 , 推导两个不等式: (1) 由: 得: 感知机学习算法  感知机算法在训练集的误分类次数k 满足不等式 , (2) 则: 感知机学习算法  感知机算法在训练集的误分类次数k 满足不等式 , 结合两个不等式: 得: 感知机学习算法

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556