核机器的理论、算法及应用研究.pdf

核机器的理论、算法及应用研究 摘要 统计学习理论为系统地研究小样本情况下的机嚣学习闯愿提供了一套比较完整的理论 体系．加世纪∞年代．在Vapnig等人的不断努力下，统计学习理论得到了迸一步完善和 Vector Machine,SVM)．悬一种通用的具有 发展．在这一基础上提出的支持向量机(Support 报强泛化能力的棱学习机嚣．它能较好地解决小样本，非线性．过学习、维教灾和局部极小 等问题．从而广泛应用于模式识别、回归估计．函数逼近以及密度估计辱各个领域．正是统 计学习理论和再生棱技术的完美结合造就了支持向量机空前的成功，同时也激发了近几年来 援机嚣研究的迅猛发展．目前．在学习系统中，有关校的理论及学习方法的研究正运渐引起 人t】的广瑟重视井成为新的研究热点． 本论文从棱机器的理论，算法和应用相结合的角度出发．在棱函散的构造、棱方法的扩 晨、按学习算法的改进以及核机嚣在复杂靠线性系统中的建模，辨识，控制和故障诊断等方 面的应用进行了系统的研究．本文的主要工作如下； 1．基于小波框架的棱函数的构造 针对常用核函数由于基的不完备性导致拔机嚣性能不佳的缺陷，通过对再生棱Hilbelt 空同(RKI-IS)和小坡框架理论的研究．提出了一类新的基于统--4波框架理论构建容许支 持向量核的方法．首先结合连续小渡变挠，研究了具有平移不变性质的连续小波框架核函散 的构建方法：其次，我f】研究了一种更具有一般意义的基于核算子构造多尺度再生小波核的 实用方法I在此基础上。将所提小波核函数引入支持向量机．对多尺度正交小波棱及其投影 援子空阃的正则化逼近特性进行了研究．实验表明上述小波棱函数具有优良的时频多分辨特 性和蛊好的函数逼近能力，在函数估计和非线性系统辨识中表现出极强的泛化性能．上述核 函数构造方法为支持向量机和其他的棱学习方法提供了更多的选择余地． 2．基于孩的统计投影回归方法的扩展 将核方法进一步拓展到包含内积运算的线性统计分析领域，系统地研究了基于核的非线 性统计投影分析及回归方法．主要进行了如下四个方面的工作：首先，在线性倔最小=乘 方法首先通过核函致将输入散据映射到一个高维特征空问，然后在特征空阃里通过对传统 NIPALS算法的改进构造线性PLS回归模型，为线性的PLS。核算法”和非线性的KPLS提 供了一个统一的框架．其次。将臆拨特征映射技术引入PLS。提出了一种隐核偏最小二乘方 法(Hidden least kemel阳撕msquares。HKPLS)．第三．通过引入样条校函数t提出了一种 构井进行了对比研究．实验表明特征空闻的统计投影结构良好的函数逼近特性大大加强了上 述核方法非线性建模的泛化性能．从而有效避免T14--乘法在变量之间存在多重相关性时 的稍态目题． 3．局部加权核回归的在线学习算法改进 对支持向量机在线学习算法的改进是机器学习中的重点研究内容．针对标准支持向量机 建模是离线批量训练。计算复杂性大、训练速度慢的缺点．通过结合局部加权学习、在线遗 忘帆制和滚动优化策略的思想，提出了一种带窗的加权最4,--乘支持向量机回归在线学习算 法．并应用于非线性系统的在线辨识和预铡建模．实验表明，该方法具有良好的在线学习能 力． 4．基于量b-乘核回归的广义逆系统控制 将核机器引入逆系统控制．提出了针对一般非线性可逆系统的线性化和解耨控制策略． 在逆系统控制中，广义逆模型的构建是非线性系统解耦控制器设计的关键所在．我们首先将 最小二乘支持向量帆(L§SVM)回归引入口阶逆系统方法，并采用贝叶斯参敢优化方法恢 透选取最佳的LS-$VM函散估计嚣逼近静态逆模型．在此基础上，针对非线性动态系统具 有模型来知或建模租糙的特点，进一步提出了一种动态广义逆系统结构，该结构由静态 Ls-$VM函散估计嚣和若干线性动态环节组合而成的．通过将此动态广义逆系统与最系统复 合，复杂的高阶非线性系统可以解耦成许多伪线性的单输入_．输出(sISO)子系统t而且 备个伪线性子系统可以按照期望饭点进行配t． 5．基于租集的数据约简及与棱机嚣的混杂集成 将租集理论与蔹机器绪合，互朴二看优势．提出了一种基于粗集琢处理的摩援分类器棍 杂系统．该方法在改善分类性能的同时可以降低计算复杂性和减少存贮空间．首先t基于租 集