《机器学习-卿来云》深度学习研究综述.docVIP

姓名：田莹莹 学号：2014E8009061018 学院：电子学院 深度学习研究综述 深度学习的概念源于人工神经网络的研究,深度学习通过组合低层特征形成更加抽象的高层表示，以发现数据的分布式特征表示。深度学习是机器学习领域中的一个新兴领域，其目的是获得输入的一个层次模型，在这个模型中高层以低层的输出为输入，逐层学习。 1.深度学习的神经学启示 模仿人脑那样高效准确地表示信息一直是人工智能领域对的核心挑战，通过神经科学研究人员对视觉皮质的研究表明，视觉皮层包含一些列的区域（如图1），每个区域都有输入，信号流从一个区域流到下一个区域。在这种功能层次的输入代表不同层次上的输入特征，层次越高抽象性越高。也就是说人脑并不是直接根据外界在视网膜上投影，而是根据经过聚集和分解过程处理后获得的信息来识别物体。不仅如此研究表明人脑的认知过程是深度的，人类层次化地组织思想和概念，人类首先学习简单的概念，然后用他们去表示更抽象的，比如，工程师将任务分解成多个抽象层次去处理。 同时需要注意的是，需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的。 图 1 视觉皮层及其对信息的处理过程 受大脑结构分层次启发，神经网络研究人员一直致力于多层神经网络的研究。传统的BP算法因为输入与输出间非线性映射使目标函数空间是一个含有多个局部极小值的非线性空间，因此搜索时经常陷入局部极小值，这在一定程度上限制了深度学习的发展。 2.关于特征 特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。对于特征我们需要考虑一下要素。 2.1特征表示的粒度 特征表示的粒度即学习算法在一个什么粒度上的特征表示，才有能发挥作用。就一个图片来说，像素级的特征根本没有价值。以摩托车为例，从像素级别，根本得不到任何信息，其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性（或者说有含义）的时候，比如是否具有车把手，是否具有车轮，就很容易把摩托车和非摩托车区分，学习算法才能发挥作用。研究表明复杂图形往往由一些基本结构组成。 2.2结构性特征表示 小块的图形可以由基本边缘构成，更结构化，更复杂的，就需要更高层次的特征表示，比如图1中V2，V4。V1看像素级是像素级，V2看V1是像素级，这个是层次递进的，高层表达由底层表达basis的组合而成。V1取提出的是边缘，然后V2层是V1层这些边缘的组合，这时候V2区得到的又是高一层的basis。即上一层的basis组合的结果，上上层又是上一层的组合basis……直观上说，就是找到有意义的小碎片再将其进行组合，就得到了上一层的特征，递归地向上学习特征。 2.3特征的数目 我们知道需要层次的特征构建，由浅入深，但并不一定特征越多越好。任何一种方法，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题。 3.Deep Learning的基本思想 假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =S1=S2=…..=Sn = O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息的另外一种表示。在Deep Learning中我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。 对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。另外，前面是假设输出严格地等于输入，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。这就是Deep Learning的基本思想。 4.浅层学西和深度学习 20世纪80年代末期，用于人工神经网络的反向传播算法的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机但实际是种只含有一层隐层节点的浅层模型。 20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机SVM、