系数正则化论文：系数正则化分类学习回归学习梯度下降法偏方差再生核Hilbert空间.docVIP

系数正则化论文：关于系数正则化模型的误差分析 【中文摘要】学习理论是从观测数据(样本)出发寻找规律,利用这些规律获得关于目标函数的了解,从而应用于预测未来数据或无法观测的数据.分类学习和回归学习是学习理论的两种典型的例子.依据样本特点及应用要求采用不同的分析方法,建立成批学习和在线学习两种基本模型.借助解的表示定理,两种模型均可以简化为系数正则化模型.这种模型的实质是定义在有限维欧氏空间上的一种最优化模型,因而它的解可以通过最优化计算方法获得.文章研究了系数正则化分类学习和回归学习算法的收敛性.主体分两部分,第一部分是对在线分类学习算法的收敛性分析.借助凸分析和非光滑分析给出了一种系数正则化在线分类学习算法.在对步长作一般限定的基础上,证明了学习序列的强收敛性：进而,在对步长作特殊限定后,求出精确的收敛速度.第二部分是对回归学习算法的收敛性分析.利用覆盖数、Hoeffding不等式等工具.对一种系数正则化回归算法进行了误差分析,通过分别对样本误差和逼近误差进行估计,得到正则化参数的最优选择,从而得到最优误差估计. 【英文摘要】Learning theory is a method of searching for a function to approximately predict the unknown future data from the observation data (sample). There are two typical schemes. One is classification learning and the other is regression learning. Batch learning and online learning are two basic schemes constructed for sample analysis or more application. According to the solution expression theorem, both of the two schemes may be simplified as the coefficient regularization scheme, which is an optimization proble... 【关键词】系数正则化 分类学习 回归学习 梯度下降法 偏方差 再生核Hilbert空间 【英文关键词】coefficient regularization classification learning regression learning gradient descent methods bias-variance reproducing kernel Hilbert space 【索购全文】联系Q1：138113721 Q2：139938848 同时提供论文写作一对一辅导和论文发表服务.保过包发 【目录】关于系数正则化模型的误差分析 致谢 4-5 摘要 5-6 Abstract 6 目次 7-9 1 绪言 9-16 1.1 回归问题 9-10 1.2 分类问题 10-11 1.3 回归函数 11-12 1.4 假设空间与目标函数 12-13 1.5 误差分析 13 1.6 偏方差问题 13-14 1.7 系数正则化模型 14-16 2 预备知识 16-19 2.1 再生核Hilbert空间 16 2.2 Clarke导数和广义梯度 16-19 3 系数正则化在线分类算法 19-36 3.1 主要结果 20-21 3.2 学习序列的界 21-24 3.3 超广义误差 24-27 3.4 收敛性分析 27-30 3.5 收敛速率 30-33 3.6 误差界与学习速率 33-36 4 系数正则化回归模型的最优正则参数 36-48 4.1 引理 37-46 4.2 结论证明 46-48 5 总结 48-49 参考文献 49-53 个人简历 53