基于相关向量机的机器学习算法研究和应用.pdfVIP

2010 年湖南省研究生创新论坛信息与控制工程的新理论和新技术分论坛论文集 基于相关向量机的机器学习算法研究与应用 杨树仁，沈洪远 （湖南科技大学信息与电气工程学院，湖南 湘潭 411201 ） 摘 要：详细介绍了一种新的机器学习方法相关向量机(Relevance Vector Machine)．相关向量机 是一种新的基于贝叶斯统计学习理论的学习方法，与支持向量机(Support Vector Machine)的相比，可 以有概率型输出、更稀疏和核函数选择更自由等优点．详细讲述了相关向量机的研究现况、理论基 础及算法思想，并通过仿真实验说明了该方法的有效性，最后展望了相关向量机的研究发展趋势， 且提出了相关向量机中仍需解决的关键问题． 关键词：相关向量机；支持向量机；统计学习理论；机器学习 Research and Application of Machine Learning Algorithm  Based on Relevance Vector Machine  YANG Shu-ren ，SHEN Hong-yuan (Institute of Information and Electrical Engineering，Hunan University of Science and technology ， Xiangtan 411201 ，Chin) Abstract ：Relevance Vector Machine(RVM) technique as a new machine learning method is illustrated in details. It is a novel kind of learning method which is based on Bayesian learning theory. RVM was developed on the basis of Support Vector Machine(SVM) learning theory, compared with the SVM, it has the benefits of probabilistic predictions 、 sparser model 、the facility to utilize arbitrary basis functions(‘Mercer’-function) and so on. Then the research situation、theoretical basis 、algorithm thought about RVM is discussed in this paper, and the validity of this method has been proved by some examples, Finally the prospect and the research aspect of RVM is discussed, and the solved key problem of RVM is presented in the future. Key words ：Relevance Vector Machine ；Support Vector Machine；Statistical Learning Theory；Machine learning 231 2010 年湖南省研究生创新论坛信息与控制工程的新理论和新技术分论坛论文集 1.引言           机器学习是从观测数据出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。 其重要理论基础之一是统计学。而传统统计学研究的是样本数目趋于无穷大时的渐近理论[1; 2]，当样 本数目有限时难以取得理想的结果。统计学习理论(Statist