经典线性算法的非线性核形式 - 控制与决策.PDFVIP

第2 1 卷 第 1 期 　控　制　与　决　策 2006 年 1 月 V o l. 2 1 N o. 1 　　Con trol and D ec is ion　 　 J an. 2006 　　文章编号: 100 10920 (2006) 0 1000 106 经典线性算法的非线性核形式 1 2 许建华 , 张学工 ( 1. 南京师范大学 数学与计算机学院, 南京 2 10097; 2. 清华大学 自动化系, 北京 100084) 摘　要: 经典线性算法的非线性核形式是近10 年发展起来的一类非线性机器学习技术. 它们最显著的特点是利用满 足M ercer 条件的核函数巧妙地推导出线性算法的非线性形式, 并表述为与样本数 目有关、与维数无关的优化问题. 为了提高数值计算的稳定性、控制算法的推广能力以及改善迭代过程的收敛性, 部分算法还采用了正则化技术. 在概 述核思想与核函数、正则化技术的基础上, 系统地介绍了经典线性算法的非线性核形式, 同时分析它们的优缺点, 并 讨论了进一步发展的方向. 关键词: 机器学习; 核函数; 核形式; 支持向量机 中图分类号: T P 18　　　　文献标识码: A Non l in ear Kern el Form s of Cla ssica l L in ear A lgor ithm s 1 2 , X U J ian h ua ZH A N G X u e g ong ( 1. Schoo l o f M ath em at ica l an d Com p u ter Scien ce s, N anj ing N o rm a l U n iver sity , N anj ing 2 10097, Ch in a; 2. , , 100084, . : , : D ep ar tm en t o f A u tom at ion T singhu a U n iver sity B eij ing Ch in a Co r re spon den t XU J ian hu a E m a il xuj ianhu a@njnu. edu. cn ) Abstract: In m ach in e learn ing th e non lin ear k ern e l fo rm s o f cla ssica l lin ear a lgo r ithm s are a cla ss o f non lin ear . techn iqu e s deve lop ed in th e la st ten year s T h e m o st at t ract ive idea is th at by u sing k ern e l fun ct ion s sat isfy ing