毕设翻译模板.docVIP

西 安 邮 电 大 学 毕 业 设 计（翻 译） 题 目： 通过无约束凸极小化培训拉格朗日 双支持向量回归 院 （系）： 理学院 专 业： 信息与计算科学 班 级： 信息1101班 学生姓名： 郗磊 导师姓名： 丛伟杰 职称： 副教授 起止时间：2015年3月18日 至 2015 年 6月6日 PAGE 1 PAGE 1 PAGE PAGE 2 通过无约束凸极小化培训拉格朗日双支持向量回归 摘要：在本论文中，一个新的无约束凸极小化问题制定被提议作为拉格朗日双2范数的双支持向量回归（TSVR）。这个被提到的假说致使有它们自己的两个较小规模的无约束极小化问题目标函数分段二次可微。为解决这些问题进一步提出适用于基于梯度的迭代方法。然而，由于它们的目标函数包含非光滑“加号”功能，所以这两种方法都被采取：（ⅰ）或考虑到它们的广义海森或引入平滑函数代替“加号”功能，（ⅱ）由功能迭代算法获得其关键点。就一些合成的和真实世界的基准的数据集获得的计算结果而言，清楚地说明了所提出的无约束拉格朗日双支持向量回归提法的优势，依据经典的支持向量回归和TSVR实现更快的学习速度作为可比较的泛化性能。 关键词：广义海森；基于梯度的迭代方法；光滑逼近；支持向量回归；双支持向量回归；无约束凸极小化 1 简介 由Vapnik等人[31]提出了支持向量机（SVM）适用于二元分类和回归问题极其强大的基于内核的机器学习工具。SVM已成功地应用于许多现实世界的分类问题，从图像分类[21]，文本特征[13]，生物医药[3,10]破产预报[30]。 虽然它拥有比其他机器学习方法，如人工神经网络（人工神经网络）更好的泛化的分类性能，SVM的主要挑战之一是它的高性价比的学习，即O（M3），其中为训练数据点的数量。为了提高学习速度，在过去的几年，在过去的几年，多超平面的SVM分类器已经提出了在文献[12,19,22,25]，其中不平行的超平面的构造单个超平面，而不是如在传统的SVM。在这个方向的早期贡献是广义特征值近SVM（GEPSVM）提出Mangasarian和野生[19]。在他们的方法中，不平行的超平面的构造，其中，每个类的数据点会接近它的两个非平行的超平面之一。在GEPSVM，Jayadeva等人的精神。[12]提出的双SVM（TWSVM）的二元分类。 TWSVM寻求两个非平行的超平面通过求解一对二次规划问题（QPP）比单一更小的尺寸作为经典的SVM。自TWSVM的学习速度比经典的SVM[12]快大约四倍，此外它拥有改进的推广能力相较于SVM和GEPSVM，成为最有吸引力的方法进行分类之一。有关扩展/改进TWSVM的相关工作，见[14,15,27]。 近日，来自于TWSVM工作的灵感，彭[23]提出了双支持向量回归（TSVR） 其中未知回归估计是通过构造一对非平行insensitive上下界的约束函数。与 TWSVM类似，非平行结合的函数通过求解一对尺寸比传统的支持向量回归的单 一（SVR）的较小的双重QPP获得。 Empherical结果表明，相较于SVR[23]有 更快学习速度的额外优势，从而TSVR取得良好的推广。制定TSVR作为非常主 要的凸无约束最小化问题并采用平滑技术。一个被称为光滑的双支持向量回归 （STSVR）的新SVR已经提出[4]，其中它的解决方案是通过使用牛顿的Armijo 算法[16,17]而获得。对于一个简单的线性收敛拉格朗日TSVR算法的研究，有兴 趣的读者可参考[1]，同样，在将TSVR制定为一对线性规划问题的时候，可参 见[35]，对于TSVR的其它变体也一样，参见[26,34]。最后，对于一个存在孤立 点或噪声的有趣的稳健算法的分类问题，我们参考[33]。 由于受到拉格朗日TSVR以及双重SVM分类制定研究的启发，一个新的无约束的拉格朗日TSVR（ULTSVR）制定已经在这项研究中提出，然而，由于它的目标函数包含一个具有非平滑“加号”功能的术语，两个基于梯度的方法被假定以便解决所提出的最小化问题：（ⅰ）或考虑到它们的广义Hessian或引入平滑近似函数代替非光滑“加号”功能，然后应用牛顿Armijo算法；（ⅱ）使用功能迭代方法获得临界点。牛顿的Armijo算法的收敛，其有限终止将直接遵循[16,17]的结果。在充分条件下，所提出的功能迭代