基于最大熵模型的迁移学习算法分析-analysis of migration learning algorithm based on maximum entropy model.docxVIP

表格清单表2.1传统机器学习与迁移学习各个分支之间的关系7表2.2迁移学习的分类与相关领域8表3.1文本数据集20Newsgroup18表3.2评论数据集19表3.320Newsgroup上的分类错误率(r=50)20表3.4评论数据上的分类错误率(r=50)20表3.5AMEC与WTLME迁移时间对比(compvsrec)22表3.6AMEC与WTLME总时间对比(compvsrec)22表4.1无迁移时三种算法的最好结果28表4.2多领域迁移与单领域迁移分类错误率对比29表5.1数据预处理模块参数说明32表5.2传统学习算法模块参数说明33表5.3迁移学习算法模块参数说明33独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得合肥工业大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：梅灿华签字日期：2011年4月18日学位论文版权使用授权书本学位论文作者完全了解合肥工业大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权合肥工业大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：梅灿华导师签名：胡学钢签字日期：2011年4月18日签字日期：2011年4月18日学位论文作者毕业后去向：工作单位：电话：通讯地址：邮编：第一章绪论本章简要引出了迁移学习提出的背景，并给出本文的主要研究内容和组织结构。1.1引言在全球信息化大潮的推动下，计算机技术和网络技术发展迅猛，人类产生、收集数据、存储数据的能力飞速提高，在科学研究、生产生活的各个领域中都积累了大量的数据。因此，如何在这样一个数据和信息的汪洋大海之中分析并发掘其中蕴含的有用信息或知识几乎成为了所有领域的共同需求。在这种大趋势下，数据挖掘[1]技术得到广泛的关注和研究。而机器学习作为数据挖掘的一个重要支撑技术也备受瞩目，并在分类、回归和聚类等挖掘任务中取得了重大的成功。(a)分类任务(ClassificationTask):(b)过程性任务(ProceduralTask)：涉及将某个项归到某一类中日常技巧的执行，包括认知和感知(c)推理任务(InferenceTask):(d)问题解答任务(Problem-solving需要多步推理以获得答案Task)：涉及策略选择和启发搜索图1.1迁移学习在不同任务中的表现然而，当前大部分的机器学习算法都建立在训练数据集和测试数据集具有相同的特征空间和数据分布的假设之上，而在现实世界中，这两者又常常发生变化，这导致已训练好的现有模型不再适应。此时，大多数的机器学习算法都需要从零开始再次收集大量的训练数据并训练新模型以适应变化，这种做法的代价显然是非常昂贵的。因此，领域适应问题成为制约数据挖掘进一步发展的一大桎梏。迁移学习[2]技术的提出正是为了弥补传统机器学习的这种“种瓜得瓜，种豆得豆”的缺陷，来达到“举一反三，投桃报李”的目的。与传统机器学习不同的是，迁移学习强调的是跨领域、跨任务、分布相似但不相同的知识迁移。迁移学习旨在使一个系统具有识别和应用先前任务中学习到的知识和技巧到新的任务或领域的能力。在日常生活中，我们经常发现这样的现象：如若先学会了识别苹果，那么识别梨子就容易多了；若学会了英语，那么也会对学习法语有帮助；若已学会了骑自行车，那么很有可能也能学会骑三轮车……。人类的这些迁移学习现象还表现在众多任务中：如分类任务(图1.1(a))、过程性任务(图1.1(b))、推理任务(图1.1(c))、问题解答任务(图1.1(d))等[3]。这些都告诉我们学习是一种终生性的持续性的活动，并不是每个新任务都需要重新开始学习。如果能够将先前任务中学习到的知识运用到新的任务中，则可能会加快学习进程，更为经济适用。1.2本文的主要研究内容就数据挖掘问题而言，分类任务占据着有最大的比例，故本文主要研究对象亦为分类任务下的迁移学习。随着Web数据量的日益增长，领域适应问题在Web数据上表现尤为突出，亟需解决，因而本文主要从传统的基于主题的文本(Web网页)分类和最新的基于情感的文本(Web上的商品或服务的评论)分类两个实际应用方向来进行迁移学习的研究。本文主要基于最大熵模型，分别研究了从单个原始领域迁移到目标领域的加权归纳迁移学习算法(WTLME)和从多个原始领域迁移到目标领域的直推迁移学习算法(SFEC)。前一算法在传统的基于主题的文本分类任务中表现较