黎曼流形上的习实际—在线分类和多核算法.pdfVIP

黎曼流形上的学习理论一在线分类和多核算法 摘 要 随着现代科学技术的发展，人们每天都要面对大量数据。如何去理解和处理这 些数据并有效地加以利用成了当今科学技术的一个重要研究课题。 机器学习是计算机得以广泛应用后逐渐发展起来的--f-]学科，它是研究如何利 用已有的经验数据设计一些算法使计算机具有一些学习功能即从经验数据中学习 出一些规律。学习理论是其中的一个分支，它的目标是给机器学习中的一些算法提 供理论支持并由此设计一些更有效的算法。本文主要分析两类算法一在线分类算 法和多核算法。特别地，本文的分析适用于流形学习(即所给的数据或所研究的函 数关系分布在一个低维流形上)，欧氏空间的情形只是其中的一个特例。 首先，我们研究了一类更符合实际操作的全在线分类算法。它是一种可以表达 为再生核希尔伯特空间中泛函极小化问题的在线算法，其包含的损失函数满足凸 性。该算法的一个重要特征是正则化参数随着时间的变化而变化，因此跟以前正则 化参数固定的半在线算法有很大不同。对于该算法的误差分析，我们先用一个新方 法来估计由正贝0化参数变化而产生的漂移误差，然后在再生核希尔伯特空间中估计 样本误差的强收敛阶。最后，对应于几个特殊的损失函数，我们结合关于额外分类 误差和额外泛化误差的比较定理以及关于正则化误差的衰减性假设得到该算法对应 的额外误差估计。特别地，我们给出了对应于叮．范数的支持向量损失函数(q≥1) 的全在线支持向量机的收敛阶。损失函数是凸的这一假设在我们的分析中起着十分 重要的作用。我们的结果对在线算法给出了坚实的理论基础，是除最小二乘回归算 法外第一个完整的全在线分类算法的理论分析。它不仅为更广的学习算法提出了理 论问题，而且对设计更有用的算法提供了数学上的理论指导。 从2000年开始，流形学习逐步成了学习理论中的一个热门话题。它的核心思 想是假设数据及函数关系分布在一个嵌入到n维欧氏空间的d维子流形上，一般 地，d比n小很多。但已有文献的大多数研究是实验性的，即通过大量数据的算法 应用说明流形结构对算法的影响。一般是用数值结果说明实际数据及所学函数关系 中有很强的流形结构，这些结构可以大大提高算法的收敛性和降低算法复杂性。但 到现在为止，只有个位数的文章有较严格的数学分析。因此如何在数学上严格证明 流形结构对学习算法的本质影响成了一个公认的，困难丽又意义重大的研究课题。 本文，我们给出了定义在连通紧致c一黎曼流形上高斯函数的逼近和学习能力。当 被逼函数属于Lip(s)时，方差为盯的高斯函数卷积被逼函数有D(矿)的一致逼近 阶；而当被逼函数属于Sobolev空间明(x)时，方差为a的高斯函数卷积被逼函 数在LP(X)意义下有D(矿)的收敛阶。其中，紧黎曼流形中的一致凸邻域在得到相 应逼近阶过程中起着十分关键的作用。利用这些结果，我们得出了学习理论中一些 多核算法的收敛阶(包括回归和分类)，这些收敛阶比欧氏空间情形下(即输入空间 只是作为欧氏空间的子集，不利用流形的特殊结构)给出的收敛阶好很多，从而有 力地说明了多核算法在实际应用中的有效性。另外，通过比较逼近阶，我们说明了 单核算法和多核算法的本质区别。我们的数学分析严格地说明了黎曼流形的维数对 多核高斯学习算法的本质影响，是少见的理论分析之一，有着重大的理论及应用前 景。 关键词：学习理论，再生核希尔伯特空间，分类算法，回归算法，在线学习，高斯 核，逼近，黎曼流形 中图分类号：029，0174．41，0235 LEARNINGoNRIEMANNIAN CLASSIFICATIoNANDMUITI-KERNEL ALGoRITHMS ABSTRACT With the ofmodernscienceand areconfrontedwitha development technology,we massofdata tounderstandanddealwith thenmake everyday．How thesedataand use ofthembecomean