经典线性算法的非线性核形式.pdfVIP

第21 卷 第 1 期 　控　制　与　决　策 2006 年 1 月 V o l. 21 N o. 1 　　Con trol and D ecision 　 　 Jan. 2006 　　文章编号: (2006) 经典线性算法的非线性核形式 1 2 许建华 , 张学工 ( 1. 南京师范大学 数学与计算机学院, 南京 210097; 2. 清华大学 自动化系, 北京 100084) 摘　要: 经典线性算法的非线性核形式是近10 年发展起来的一类非线性机器学习技术. 它们最显著的特点是利用满 足M ercer 条件的核函数巧妙地推导出线性算法的非线性形式, 并表述为与样本数 目有关、与维数无关的优化问题. 为了提高数值计算的稳定性、控制算法的推广能力以及改善迭代过程的收敛性, 部分算法还采用了正则化技术. 在概 述核思想与核函数、正则化技术的基础上, 系统地介绍了经典线性算法的非线性核形式, 同时分析它们的优缺点, 并 讨论了进一步发展的方向. 关键词: 机器学习; 核函数; 核形式; 支持向量机 中图分类号: T P 18　　　　文献标识码: A Non linear Kernel Form s of Classical L inear A lgor ithm s 1 2 , X U J ian hua ZH A N G X ue g ong ( 1. Schoo l of M athem atical and Computer Sciences, N anjing N o rm al U niversity, N anjing 210097, Ch ina; 2. , , 100084, . : , : D epartm ent of A utom ation T singhua U niversity Beijing Ch ina Co rrespondent XU J ian hua E m ail xujianhua@njnu. edu. cn) Abstract: In m ach ine learning the nonlinear kernel fo rm s of classical linear algo rithm s are a class of nonlinear . techniques developed in the last ten years T he mo st attractive idea is that by using kernel functions satisfying