基于核函数的非线性口袋算法-电子学报.PDF

第 4 期 电　　子 　　学 　　报 Vol . 31 　No . 4 　2003 年 4 月 ACTA ELECTRONICA SINICA Apr . 　2003 　 基于核函数的非线性口袋算法 许建华 ,张学工 ,李衍达 (清华大学自动化系 ,智能技术与系统国家重点实验室 ,北京 100084) 　　摘 　要 : 　应用满足Mercer 条件的核函数设计非线性算法已经成为机器学习领域一项新的非线性技术. 核感知器 算法利用核思想非线性地推广了线性感知器算法 ,使其可以处理原始输入空间中的非线性分类问题和高维特征空间 中的线性问题. 线性口袋算法改进了线性感知器算法 ,能够直接处理线性不可分问题. 为了进一步改进线性口袋算法 和核感知器算法 ,本文提出基于核函数的非线性口袋算法 ,即核口袋算法 ,其 目标是找到一个使错分样本数最小的非 线性判别函数 ,并证明了其收敛性. 核口袋算法的特点是用简单的迭代过程和核函数来实现非线性分类器的设计. 基 准数据集的实验结果证明核口袋算法的性能优于线性口袋算法和核感知器算法. 关键词 : 　核函数 ; 感知器算法 ; 非线性 ; 口袋算法 ; 支持向量机 中图分类号 : 　TP18 　　　文献标识码 : 　A 　　　文章编号 : (2003) Nonline ar Pocket Algorithm with Kernel s XU Jianhua ,ZHAN G Xuegong ,L I Yanda ( Dep artment of A utomation , Tsinghua University , State Key L aboratory of Intelligent Technology and Systems , Beij ing 100084 , China) Ab stract : 　Designing nonlinear algorithms with kernel functions satisfying the Mercer condition ,has become a novel nonlinear technique in the machine learning. By using kernel idea the kernel perceptron algorithm nonlinearly generalizes the linear perceptron algorithm. It can handle the linearly nonseparable classification problems in the original input space and the linearly separable ones in the feature space . The linear pocket algorithm improves the perceptron algorithm and can deal with the linearly nonseparable problems directly. In order to improve the linear pocket algorithm and kernel perceptron algorithm ,in this paper the