基于主动学习的支持向量机算法.docVIP

基于主动学习的支持向量机算法 　　摘 要： 针对支持向量机（SVM）模型不能有效处理海量数据挖掘的问题，提出一种改进的基于主动学习的支持向量机（AL_SVM）方法。该方法首先将训练集随机划分为多个独立同分布的子集，并选择其中一个子集作为初始训练集来训练SVM得到初始分类器和支持向量集，然后根据已经得到的分类器信息在剩余样本集中选择对于分类器改进作用最大的有价值样本。并与已得到的支持向量集合并构成新训练集，以更新分类器，从而在保留重要支持向量信息的前提下，去除大量不重要的支持向量，一定程度上避免了过学习问题，提高了学习效率。实验表明，AL_SVM方法能够在保持学习器泛化能力的同时提高其学习效率。 　　关键词： 支持向量机； 主动学习； 有价值样本；支持向量 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2013）24?0022?03 　　Support vector machine algorithm based on active learning 　　BAI Ning 　　（Department of Computer Science and Technology， Shanxi Police Academy， Taiyuan 030021， China） 　　Abstract：To solve the problems that the support vector machine （SVM） moedel can not process the massive dataset mining effectively， an improved support vector machine based on active learning （AL_SVM） algorithm is presented in this paper. The training set is divided randomly into some independent and identical subsets and only a subset of them is selected as the training set of SVM model to obtain the initial classifier and support vectors set， and then a most valuable sample is selected from the rest of samples by the former classifier to improve the learner and it is combined with the support vector set of the former SVM training to train a new SVM model， soas to improve the classifier. By this method， the important support vectors are retained and the unimportant support vectors are deleted. Therefore， the over?fitting problem can be avoided， and the training efficiency is improved by this method. Simulation results demonstrate that the AL_SVM method can maitain the learner’s generalization ability and improve the learning efficiency simultaneously. 　　Keywords： support vector machine； active learning； valuable sample； support vector 　　0 引 言 　　随着现代科技的进步，以及人们管理和知识水平的提高，现实世界中需要处理的数据量越来越大。2008年9月，《Nature》杂志出版了一个专刊，讨论大数据存储、管理和分析问题[1]，之后麦肯锡公司、《Science》杂志也相继出版了大数据报告及研究专刊[2]，围绕科学研究中大数据的问题进行了深入讨论，说明了大数据问题处理的重要性和必要性。因此，大数据问题的研究目前已经成为人工智能领域的热点问题。为了能够从规模庞大、联系紧密、结构复杂、类型多样的数据中提炼出有用知识，针对大数据的数据挖掘技术研究近年来受到了研究者的广泛关注。数