稀疏分层概率自组织图实例迁移学习的方法.docVIP

稀疏分层概率自组织图实例迁移学习的方法 　　摘要：针对基于实例的迁移学习在关联多源异构领域数据时遇到的数据颗粒度不匹配问题，以单领域分层概率自组织图（HiPSOG）聚类方法为基础，提出一种具有迁移学习能力的稀疏化非监督分层概率自组织图（TSHiPSOG）方法。首先，在源领域和目标领域分别基于概率混合多变量高斯分布生成分层自组织模型以便在多领域中分别提取不同粒度的表示向量，并用稀疏图方法通过概率准则控制模型增长；其次，利用最大信息系数（MIC），在具有富信息的源领域中寻找与目标领域表示向量最相似的表示向量，并利用这些源领域表示向量的类别标签细化目标领域数据分类；最后，在国际通用分类数据集20新闻组数据集和垃圾邮件检测数据集上进行了实验，结果表明算法可以利用源领域的有用信息辅助目标领域的分类问题，并使分类准确率最高提高约15.26%和9.05%；对比其他经典迁移学习方法，通过稀疏分层可以挖掘不同颗粒度的表示向量，分类准确率最高提高约4.48%和4.13%。 　　关键词：机器学习；迁移学习；非监督学习；分层算法；稀疏图方法 　　中图分类号： TP181 文献标志码：A 　　0引言 　　随着网络化、大数据的快速发展，各种各样的海量数据大量涌出，导致不断出现新的知识领域。这些新出现的知识领域具有标注数据少、获取信息困难的特点。与传统的机器学习不同，迁移机器学习方法可以利用富信息源领域知识辅助学习标注稀疏的目标领域知识[1-2]。 　　基于实例的迁移学习算法假设源领域与目标领域具有相同的特征空间和学习任务，但是两者的特征空间分布不同。这类算法的主要思想是在信息丰富的源领域中一定存在某些数据有利于目标领域的学习，而其他数据是与目标领域无关的甚至是有害的。于是这类方法就是要利用源领域中有用数据，同时消除无关以及有害的数据来辅助目标领域学习。Yang等[3]提出了分层贝叶斯框架（Hierarchical Bayesian Framework， HiRBF）实例迁移学习方法，该方法的本质是对源领域数据和目标领域数据的折中，对源领域数据的直接利用会为目标领域的学习带来一定的干扰。LatentMap算法[4]是一种典型的特征迁移学习方法，其利用源领域和目标领域的联合特征彼此互补，从而获取未知变量的值，并在这些扩展的联合特征向量空间中寻找可以进行迁移的相似子结构；然而，当不同领域对数据颗粒度要求不同时，该种方法就很难建立匹配的联合特征空间。 　　自组织映射（SelfOrganizing Map， SOM）是一种将高维数据映射到二维表示空间的可视化聚类方法，在表示空间具有相似性质的数据距离更近[5-7]。但是这种固定的二维网格阵列作为SOM模型的先验知识，需要被人工给定网格的节点数，并且无法表达数据内部复杂的层次关系。分层概率自组织图（Hierarchical Probabilistic SelfOrganizing Graph， HiPSOG）不但具有动态的拓扑结构，还可以根据输入数据的特征调整模型的层数[8]。然而，这种模型只适用于处理传统的机器学习问题，即训练集和测试集的分布完全一致。当测试集有新领域数据加入的时候，HiPSOG方法的性能会大幅下降。 　　基于此，本文提出的迁移稀疏分层概率自组织图（Transfer Sparse Hierarchical Probabilistic SelfOrganizing Graph， TSHiPSOG）方法在源领域和目标领域分别提取多层次、多颗粒度的表示向量，并且采用最大信息系数（Maximal Information Coefficient， MIC）[9]测量源领域和目标领域表示向量的相似性，在其之间建立关联，利用源领域中的部分表示向量辅助学习目标领域的分类问题。另外，该方法在迭代过程加入稀疏项约束，防止模型在单领域数据上过拟合。将模型用于跨领域分类任务，实验表明本文方法可以有效提取源领域知识，辅助提升目标领域分类准确性。 　　4结语 　　近年来，多领域数据协同分析已经成为一个热门研究领域。本文提出了一种带有稀疏约束的分层概率自组织图实例迁移学习方法。实验结果表明，该方法能够拉近不同领域数据特征的颗粒度，利用多领域数据辅助提高目标领域的分类效果。下一步的工作是加入对数据维数的约简预处理，以求得在数据特征空间同时进行约简，得到数据和特征的双稀疏，进一步改进算法，缩短算法运行时间。 　　参考文献： 　　[1] 　　PAN S J， YANG Q. A survey on transfer learning [J]. IEEE Transactions on Knowledge and Data Engineering， 2010，22（10）：1345-1359. 　　[2]