基于KMM匹配的参数迁移学习算法.docxVIP

第38卷第4期湖南大学学报(自然科学版)V01．38，No．42O1l年4月JournalofHunanUniversity(NaturalSciences)Apr．20l1文章编号：1674—2974(2011)04—0072—05基于KMM匹配的参数迁移学习算法张汗灵”，汤隆慧1，周敏2(1．湖南大学信息科学与工程学院，湖南长沙410082；2．国家安全生产监督管理总局，北京100713)摘要：当训练数据和测试数据来自不同的领域或任务以至于训练数据和测试数据的分布不相同时，需要进行知识的迁移．本文提出一种基于实例KMM匹配的参数迁移学习方法．利用KMM算法估计每个源领域实例的权重，再利用得到的权重，把这些实例应用到基于参数的迁移学习方法中．把该迁移学习算法应用到无线网络定位问题中时，该方法的定位准确度要高于单独从实例或是从参数出发的迁移学习方法．关键词：迁移；实例；权重；参数中图分类号：TPl8文献标识码：AKMM—basedLearningAlgorithmforParameterTransferZHANGHan-lin91t，TANGLong—huil，ZHOUMin2(1．CollegeofComputerandCommunication-HunanUniv。Changsha。Hunan410082．China；2．StateAdiministrationofWorkSafety．Beijing100713．China)Abstract：Amajorassumptioninmanymachinelearningalgorithmsisthatthetrainingdataandtestingdatahavethesamedistribution．However，inmanyreal—worldapplications，thisassumptionmaynothold．Transferlearningaddressesthisproblemandutilizesplentyoflabededdatainasourcedomaintosolvere—latedbutdifferentproblemsinatargetdomain．Thispaperproposedaparameter-transferlearningmethodbasedonKMM(KernelMeanMatching)algorithm．First，weweighedeachsourceinstanceusingKMMandthenappliedthereweightedinstancestothelearningmethodbasedonparameters．WeappliedthismethodtOthelocalizationofwirelessnetwork．Experimentresultshavedemonstratedthattheproposedmethodoutperformsthemethodsbasedoninstancesorparameters，especiallywhenthetargettrainingda—taarerelativelyfew．Keywords：transfer；instance；weighing；parameters数据挖掘和机器学习技术已经应用于许多知识训练数据或重建这个模型的花费是比较昂贵的．我工程技术领域‘1I．但是，大多数机器学习技术都存在们希望能够设计出一种算法以减少重新收集训练数一个相同的假设，那就是训练数据和测试数据服从据所花费的开销，在这种情况下，不同任务或领域间相同的分布．当这些分布发生变化的时候，统计模型的知识迁移或迁移学习就显得十分重要了．需要重新收集训练数据来重建，但是重新收集这些迁移学习按照迁移的对象不同可以分为4类：-收稿日期：2010-08-18基金项目：国家林业公益性行业科研专项经费资助项目(201104090)I长沙科技计划项目(K1003046--1I)作者简介：张汗灵(1968一)，男，湖南邵阳人。湖南大学副教授t通讯联系人，E-marlIzhang_h12002@hotmail．C01万方数据第4期张汗灵等：基于KMM匹配的参数迁移学习算法73第1类，基于实例的迁移学习算法[2-33；第2类，基为共有的参数；强和口丁分别为源任务和目标任务于特征表征的迁移学习算法E4_钓；第3类，基于参数特有的参数．假定每个任务t的超平面f。一姒·z，的迁移学习算法[6q1；第4类，基于关联知识的迁移SVMs扩充到多任务学习中可以表示为式(3)：学习算法[8]．这些迁移学习算法各有利弊：基于实例minJ(Wo，n，?)=‘％’耳’￡i的迁移学习算法，迁移效果较为明显，但是它只能对非