深度学习——sae(稀疏自动编码机).pptVIP

深度学习(1)——稀疏自动编码机（SAE）网络 广东工业大学 13级控制工程 1019408133@ 传统神经网络 1）比较容易过拟合，参数比较难调整； 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优； BP算法存在的问题： （1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小； （2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）； （3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习； 一、针对过拟合现象的处理 1.惩罚项(Penalty，正则化方法，正则化的一般形式是在整个目标函数后增加一个正则项，以使经验风险最小化。把不重要的项的参数保留，但是令其系数为零) 2.给输入层a{1}加噪，以及对隐含层a{i}进行Dropout （按比例随机清零。） 二、针对训练快慢与稳定性的矛盾 应用权值动量辅助调整权值 三、针对以往一个bp网络不能太多层 先逐个逐个隐含层进行无监督训练（实际还是用bp），即调用saesetup.m以及saetrain.m。 然后得到各个隐含层的参数才对完整的网络进行有监督训练。 test_example_SAE.m 一、训练隐含层（例中为单个隐含层） 1.调用saesetup设置网