现代机器习基于深度学习的图像特征提取.pdfVIP

现代机器学习理论大作业 （基于深度学习的图像特征提取） 基于深度学习的图像特征提取 摘要： 大数据时代的来临，为深度学习理论的发展创造了良好的条件。本文介 绍了深度学习的发展背景， 主要讨论了深度学习中的自编码的方法， 对自编码方 法实现仿真应用，期望在以后能应用到 SAR 图像上进行自动特征提取，最后阐 述该理论的目前遇到的困难。 关键词： 深度学习 autoencoder convolution pooling 一 引言 机器学习是人工智能的一个分支， 而在很多时候， 几乎成为人工智能的代名 词。简单来说，机器学习就是通过算法， 使得机器能从大量历史数据中学习规律， 从而对新的样本做智能识别或对未来做预测。 从 1980年代末期以来， 机器学习的 发展大致经历了两次浪潮：浅层学习（ Shallow Learning）和深度学习（ Deep Learning）。 第一次浪潮：浅层学习 1980年代末期，用于人工神经网络的反向传播算法（也叫 Back Propagation 算法或者 BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机 器学习热潮。这个热潮一直持续到今天。人们发现，利用 BP算法可以让一个人 工神经网络模型从大量训练样本中学习出统计规律， 从而对未知事件做预测。 这 种基于统计的机器学习方法比起过去基于人工规则的系统， 在很多方面显示出优 越性。这个时候的人工神经网络，虽然也被称作多层感知机（ Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。 90年代，各种各样的浅层机器学习模型相继被提出， 比如支撑向量机 （SVM ， Support Vector Machines）、Boosting、最大熵方法 （例如LR ， Logistic Regression） 等。这些模型的结构基本上可以看成带有一层隐层节点（如 SVM 、Boosting）， 或没有隐层节点（如 LR ）。这些模型在无论是理论分析还是应用都获得了巨大的 成功。相比较之下，由于理论分析的难度，加上训练方法需要很多经验和技巧， 所以这个时期浅层人工神经网络反而相对较为沉寂。 2000年以来互联网的高速发展， 对大数据的智能化分析和预测提出了巨大需 求，浅层学习模型在互联网应用上获得了巨大成功。 最成功的应用包括搜索广告 系统（比如 Google的AdWords 、百度的凤巢系统）的广告点击率 CTR预估、网页 搜索排序（例如 Yahoo!和微软的搜索引擎） 、垃圾邮件过滤系统、基于内容的推 荐系统等。 2006年，加拿大多伦多大学教授、机器学习领域泰斗 —— Geoffrey Hinton和 他的学生 Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启 了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息： 1. 很多隐 层的人工神经网络具有优异的特征学习能力， 学习得到的特征对数据有更本质的 刻画，从而有利于可视化或分类； 2. 深度神经网络在训练上的难度， 可以通过 “逐 层初始化（ Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是 通过无监督学习实现的。 第二次浪潮：深度学