“无师自通”机器学习方法的核心算法分析.docVIP

“无师自通”机器学习方法的核心算法分析 　　摘要：机器学习的发展趋势，就是不断地使用易获得的、廉价的数据作为样本数据，来辅助训练数据进行学习。“无师自通”学习是迁移学习的一种改进，它使用未标记的数据集作为样本数据集，且并不假设未标记数据集和标记数据集有着同样的数据分布，它运用稀疏编码方法来对未标记数据集得到一个更高层次的表示。然后,再使用经典的监督学习方法如SVM方法来对得到的新的数据集进行机器学习。该文将介绍“无师自通”学习法的主要原理，并对其核心算法―稀疏编码算法进行深入分析并通过实验给出具体的实例。 　　关键词：机器学习；无师自通；未标记数据集；稀疏编码；监督学习 　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)10-2335-04 　　The Core Algorithm of Self-taught Learninig 　　ZHOU Xin 　　(School of Information, Central University of Finance and Economics, Beijing 100081, China) 　　Abstract: The trend of machine learning is to get easy-obtained、cheap data as sample data, and assist training data to do machinelearning. Self-taught Learning is an improvement on transfer learning, it uses unlabeled data as sample data, and it does not assume the unlabeled data follows the same class labels or generative distribution as the labeled data, it uses sparse coding to construct higher-level features ,then uses classical supervised learning method such as SVM to do machine learning on the newly data. In this paper, I will introduce the basic principle of “Self-taught Learning”, andanalysethe core algorithm-sparse coding, finally give an example by an experiment. 　　Key words: machine learning; self-taught learning; unlabeled data set; sparse coding; supervised learning 　　“无师自通”学习方法是一种新的机器学习框架，它最早是由斯坦福大学的几位研究人员在2007年的国际机器学习会议上提出的。它不同于传统的监督学习、无监督学习和增强学习（或者称为基于评价的学习），该方法通过从未标记数据样本中学习到一个紧凑的、有效的表示，然后将学习到的特征表示方法应用到监督学习任务中。“无师自通”学习方法不仅利用到了标记数据，也用到了未标记数据，所以它既不是监督学习，也不是非监督学习，而是一种半监督学习。 　　“无师自通”学习方法为机器学习提供了多样的选择性，他对于标记样本以及源领域与目标领域的限制较小，具有很强的可迁移性。我们可以运用它，从事信息处理中的分类任务。它不仅适用于文本信息的分类，也适用于对电影，录音，图象等其他非文本数据的分类。 　　1 基本框架 　　图1为“无师自通”学习方法的基本框架。 　　2 核心算法－稀疏编码 　　2.1 来源 　　稀疏编码来源于神经网络的研究,它是对只有一小部分神经元同时处于活跃状态的多维数据的神经网络的表示方法.生物学实验表明,视皮层对外界刺激的处理采用神经稀疏表示原则。 　　稀疏编码目前被假设为是一种对多维数据进行线性分解的表示方法。假设输入数据X=(x1,x2,…,xn)T为n维随机向量,用S=(s1,s2,…,sm)T表示线性转换后的m维随机向量,那么线性转换矩阵为m×n维,记为M.线性转换表达式为：S=MX.S为转换后的稀疏分量，满足稀疏分布的要求，且向量S尽可能地相互独立.”稀疏性”是指随机向量的大部分元素为0,仅有少数神经元是活动的.稀疏分布有较低的熵值.可以减少分量之间的相关性。 　　2.2 稀疏编码在“无师