正则化FDA核化及与SVM比较研究.docVIP

正则化FDA核化及与SVM比较研究 　　摘 要:无论是Fisher判别分析(FDA)还是基于核的FDA(KFDA),在小样本情况下都会面临矩阵的病态问题,正则化技术是解决该问题的有效途径。为了便于研究正则化FDA与支持向量机(SVM)的关系,推导了一种正则化FDA的核化算法。将约束优化问题转换为对偶的优化问题,得到了与SVM相似的形式,分析了该核化算法与SVM的联系。针对Tenessee-Eastman(TE)过程的故障诊断结果表明,正则化KFDA的诊断效果明显好于LS-SVM。 　　关键词:正则化; Fisher判别分析; 核方法; 凸优化; 支持向量机 　　中图分类号:TP18文献标志码:A 　　文章编号:1001-3695(2010)03-0897-02 　　doi:10.3969/j.issn.1001-3695.2010.03.024 　　 　　Kernel form of regularized FDA and comparison study with SVM 　　 　　YU Chun-mei, PAN Quan, CHENG Yong-mei, ZHANG Hong-cai 　　 　　(College of Automation, Northwestern Polytechnical University, Xi’an 710072, China) 　　 　　Abstract:Whereas small sample size (3S) problem will be arose in both FDA and KFDA. Regularized FDA is an effective solution for this problem. To study the comparison of regularized FDA and support vector machine (SVM), this paper derived a novel kernel form of regularized FDA, which transfered optimization problem with constraint to optimization problem in dual space. Obtained the kernel form which similar to SVM and gave the links with SVM. Simulation results for Tenessee-Eastman(TE) process show that regularized KFDA get better diagnosis effects than least squares SVM(LS-SVM). 　　Key words:regularization; Fisher discriminant analysis; kernel methods; convex optimization; SVM 　　 　　0 引言 　　FDA是一种常用的线性分类算法,它通过寻找从原始空间到新空间的线性变换,使得变换后的数据类内离散度最小、类间离散度最大,是一种在故障诊断、模式分类领域广泛应用的降维技术。虽然FDA具有概念简单、易于实现的优点,但其无法提取数据中的非线性关系。Mika等人[1]首先提出将核函数引入FDA,其基本思想是首先将数据从原始输入空间非线性地映射到某一个高维的特征空间中,在高维特征空间中设计一个线性算法,并用满足Mercer条件的核函数来代替内积运算,从而推导出一个与样本数有关、与样本维数无关的优化问题,这称为线性问题的核化算法。只有推导出核化算法,才能将其应用于实际程序。正是基于这个原因,许建华等人[2]给出了经典线性算法的核形式。也有不少文献将核化算法应用于模式识别领域,取得了较好的效果[1,3]。但FDA和KFDA在离散度矩阵奇异(小样本)时难以应用,尤其是KFDA,其小样本问题更为突出。对于多数工业过程来说,获取各种工况的数据样本通常是比较困难的,而且要耗费大量人力和财力。因此如何在数据量有限或者小样本下取得较为满意的结果,这是值得研究的课题。 　　?フ?则化技术是为了专门处理该问题而提出来的数学方法,其作用是控制算法的泛化能力、提高数值计算的稳定性、改善迭代算法的收敛性。O’Sullivan[4]的综述中给出了不少正则化技术成功应用的例子。对于正则化Fisher判别式的核化,典型的方法是转换为广义特征值问题的求解[5],但这种方法不方便研究其与SVM的关系。本文提出了一种将约束优化问题转换为对偶优化问题的方法,便于研究其与支持向量机的关系。 　　?ヒ