基于贝叶斯统计学习理论的高维空间多类别大样本量.ppt

Sparse Autoencoder 稀疏自动编码器 王鹏宇 目录 网络结构 参数修正 稀疏自动编码器 程序实现 网络结构--自动编码器 非监督模式识别 输出近似于原始输入 隐含层输出主要特征 使信息熵减小 网络结构--自动编码器 :第L层节点j激活量的输入 :第L层的节点数目 = :第L层节点j的输出 f(x):sigmoid函数或tanh函数 网络结构--自动编码器 sigmoid函数 tanh函数 参数修正 m个训练集 损失函数J(w,b)： 第一项：平均平方和误差 第二项：修正项，使所有权重和更小、防止过度拟合 参数修正的目的：使J(w,b)最小化（误差最小） 使用梯度下降法 参数修正 对于每一次迭代 其中 参数修正--求损失函数偏导 残差 :第L层的第i个节点对最终输出值的残差贡献值 计算方法： 1.计算前向过程中的节点激活量 2.计算最终层的残差