基于KMM匹配参数迁移学习算法.docVIP

基于KMM匹配参数迁移学习算法 　　摘 要： 当训练数据和测试数据来自不同的领域或任务以至于训练数据和测试数据的分布不相同时，需要进行知识的迁移.本文提出一种基于实例KMM匹配的参数迁移学习方法.利用KMM算法估计每个源领域实例的权重，再利用得到的权重，把这些实例应用到基于参数的迁移学习方法中.把该迁移学习算法应用到无线网络定位问题中时，该方法的定位准确度要高于单独从实例或是从参数出发的迁移学习方法. 　　 关键词： 迁移；实例；权重；参数 　　 中图分类号：TP18 文献标识码：A 　　 　　KMMbased Learning Algorithm for Parameter Transfer 　　ZHANGHanling1?k, TANGLonghui??1，ZHOU Min??2 　　 (1.College of Computer and Communication, Hunan Univ, Changsha, Hunan 410082, China； 　　2.State Adiministration of Work Safety, Beijing 100713,China) 　　Abstract: A major assumption in many machine learning algorithms is that the training data and testing data have the same distribution. However, in many realworld applications, this assumption may not hold. Transfer learning addresses this problem and utilizes plenty of labeded data in a source domain to solve related but different problems in a target domain. This paper proposed a parameter transfer learning method based on KMM (Kernel Mean Matching) algorithm. First, we weighed each source instance using KMM and then applied the reweighted instances to the learning method based on parameters. We applied this method to the localization of wireless network. Experiment results have demonstrated that the proposed method outperforms the methods based on instances or parameters, especially when the target training data are relatively few. 　　 Key words:transfer; instance; weighing; parameters 　　 　　数据挖掘和机器学习技术已经应用于许多知识工程技术领域[1].但是，大多数机器学习技术都存在一个相同的假设，那就是训练数据和测试数据服从相同的分布.当这些分布发生变化的时候，统计模型需要重新收集训练数据来重建，但是重新收集这些训练数据或重建这个模型的花费是比较昂贵的.我们希望能够设计出一种算法以减少重新收集训练数据所花费的开销，在这种情况下，不同任务或领域间的知识迁移或迁移学习就显得十分重要了. 　　迁移学习按照迁移的对象不同可以分为4类：第1类，基于实例的迁移学习算法[2-3]；第2类，基于特征表征的迁移学习算法[4-5]；第3类，基于参数的迁移学习算法[6-7]；第4类，基于关联知识的迁移学习算法[8].这些迁移学习算法各有利弊：基于实例的迁移学习算法，迁移效果较为明显，但是它只能对非常相似的数据进行迁移；基于特征的迁移学习算法，效果不是很明显，但是它可以从很不相似的数据中迁移知识；基于模型参数的迁移学习方法是传统机器学习方法比较自然的扩展，但是这种方法是一种比较被动的方法.事实上，基于实例的迁移学习方法一般发生于模型训练之前，而基于模型参数的迁移学习方法刚好是在模型训练阶段，基于此，提出一种基于实例匹配KMM的参数迁移方法，在参数迁移方法的模型训练之前先对实例进行权重的重新估计，在模型训练阶段再采用基于参数的迁移方法，从而不仅能利用源领