概率型稀疏核Logistic多元分类机.pdfVIP

第33 卷第7 期 电 子 与 信 息 学 报 Vol.33No.7 2011 年7 月 Journal of Electronics Information Technology Jul. 2011 概率型稀疏核Logistic 多元分类机 郑建炜* 王万良 蒋一波 陈伟杰 (浙江工业大学计算科学与技术学院 杭州 310023) 摘 要：该文提出一种基于二级先验概率的多元核Logistic 分类机，扩展核Logistic 回归为多元模型，并解决其解 的稀疏性问题，以提升多分类应用时的模型运行速率。为约简模型构建所需计算量，训练过程采用自下向上增补算 法，每次迭代采用尽量少的输入样本，规避了大型矩阵逆操作，以适应于不同量度的数据场合。实验显示，所提多 元分类机模型构建简单，且识别率与稀疏性都优于经典支持向量机所生成的“一对一”多分类方法及传统多元核 Logistic 回归算法。 关键词：核Logistic 回归；稀疏性概率；多元分类机；自下向上训练 中图分类号：TP391.4 文献标识码： A 文章编号：1009-5896(2011)07-1632-07 DOI: 10.3724/SP.J.1146.2010.01237 Probabilistic Sparse Kernel Logistic Multi-classifier Zheng Jian-wei Wang Wan-liang Jiang Yi-bo Chen Wei-jie (College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China) Abstract: A new kernel logistic regression model based on two phase sparsity-promoting prior is proposed to render a sparse multi-classifier and enhance the run-time efficiency. For accelerating the building of the model, the bottom-up training algorithm is adopted which controls the capacity of the learned classifier by minimizing the number of basis functions used, resulting in better generalization and faster computation. Experimental results on standard benchmark data sets attest to the accuracy, sparsity, and efficiency of the proposed methods. Key words: Kernel logistic regression; Sparsity-promoting prior; Multi-classifier; Bottom-up training 1 引言 实际要求，更加自然且人性化。实际分类问题如人 支持向量机(Support Vector Machines, SVM) 脸识别、说话人辨认、文本分类等都具有多个识别 是一种经典的二元模型，已经成功地应用于不同分 目标，传统KLR 为二元分类机，应用时往往要先进 类领域，然而如何对它进行多元扩展却始终是一个 行多分类扩展。Roth[5]将KLR 依成对耦合方式实现 难以解决的问题，一般都通过“