相关向量机优化方法及研究.pdf

相关向量机优化方法的研究 摘要 相关向量机是一种基于稀疏概率模型的机器学习方法，与机器学习中 分类回归领域得到了广泛应用的支持向量机在体系结构和功能运作上十分 接近，从而较好地吸收了支持向量机泛化能力良好以及检测精度较高等优 点。同时，由于相关向理机以稀疏概率模型为理论基础构建学习机而非支 持向量机基于结构风险最小化原则构建学习机，这一基础理论上的变化使 得相关向量机取得了泛化能力更好，预测结果更具有统计学意义以及核函 数不必满足Mercer条件等优势。可以看到，对相关向量机的研究无论是从 理论提升还是实际应用方面都有着重要的意义，因此，本文着重研究了相 关向量机的基本理论及其优化方法，研究工作主要从以下几个方面切入： 1、分析相关向量机与支持向量机理论，从多个方面入手对比两者的各 项性能指标，并以支持向量机的基本理论及其优化方法为参照，重点分析 研究现有相关向量机算法的不足之处，寻找优化方法。 2、利用相关向量机中“相关向量”比重低的特点，提出用快速估计优 化相关向量机的方法。使用阈值系数和约减最大上限结合迭代估计对训练 样本的超参进行快速估计，从而去除训练集中大量的非相关向量，降低训 练样本的规模，减少了训练时间。然后，分别从理论和UCI等数据集上的 实验进行了验证，最终结果表明优化后的算法在运行效率上有了较大提高。 3、针对相关向量机使用单一核函数导致检测精度低的问题，提出了组 合核函数构建同构和异构多核相关向量机的方法，并通过核函数校正来判 T 别给定的核函数及其参数的有效性，从而用有效的核函数参数得出较优的 多核相关向量机。实验的结果表明，多核的相关向量机有着比单核相关向 量机更好的检测精度和更强的泛化能力。 关键词：相关向量机快速估计约减样本 多核核校正 II RESEARCH METHODOLOGY OPTD江IZATION VECToR地kCHINE oFRELEⅧCE ABSTRACT vector amachine based Relevance machine(RVM)waslearningalgorithm anditabsorbedthe ofwonderful on framework advantage sparseBayesian and ionfrom vectormachineasaresultofRVM precis support generalization hadthesamearchitectureand as approximately functionality basedon constructed machine becauseRVM learning sparseBayesian basedonStructuralRisk theSVM framework,unlike the ofbeRer and possessedadvant