章表示学习.pptx

第15章 表示学习;信息任务完成的难易程度，取决于信息的表示形式 210/60 CCX/VI 有序链表插入新元素 O(n) 红黑树插入元素 O(lgn n) 好的表示，会让后续的学习任务更简单;15.1 贪心逐层无监督预训练;堆叠自编码器网络参数的训练 无监督的逐层贪心预训练 微调(Fine Tuning) 每次只训练其中一层，保持其他层参数不变。训练的过程就和训练单个autoencoder一样，使autoencoder的输入和输出的误差尽量小。 贪心：让每一层都达到最优，认为整体的参数在全局最优的附近。 微调：将训练好的AE堆叠，形成Stacked AE 连接分类器，用顶层特征训练分类器，并用监督学习（BP）对整个网络的参数进行微调。;;在很多分类任务中，贪心逐层无监督预训练能使测试误差得到很大的提升。但是，也有一些问题，无监督训练不但不能带来改善，甚至会带来明显的负面影响。 无监督预训练主要由两种思想组合而成： 学习深度神经网络的初始化参数，提高优化性能 最简单的做法是，直接将预训练好的特征提取层的参数固定，训练分类器的参数即可。 通过输入分布帮助学习输入和输出间的映射关系 基本思想：无监督学习到的一些有用的特征对监督学习也是有用的。 比如： 在训练汽车和摩托车图像的生成模型，轮子是它们的共同点。 无监督阶段学习到的轮子表示，会适合于监督学习。;无监督学习表示 词向量（W