(9.6)--9.6 深度学习引论(一).pptVIP

IntroductiontoDeepLearning深度学习引论（一）

CHAPTERONE三朵乌云CloudsoverANN

第一朵乌云：局部最小问题一、“三朵乌云”模型参数量激增复杂非线性MLP网络结构决定了其模型参数量极大?MLP网络包含多层非线性激活函数????目标函数形态更加复杂包含大量局部最小陷阱的非凸函数

第二朵乌云：收敛速度问题一、“三朵乌云”刚性问题震荡与缓慢的矛盾不同连接权权重的梯度差异较大学习太快，在局部容易出现震荡学习率设定问题不同权重应该具有不同的学习率学习太慢，收敛过程太长，训练成本激增同一权重在不同阶段应具有不同的学习率学习率的设定与调整应该具有自适应机制

第三朵乌云：梯度消失问题一、“三朵乌云”梯度的“反向激活”?反传播的梯度会随着网络层数加深而快速趋近于0?迭代次数累积因子浅层权重无法得到有效学习，深度网络只能是“梦想”当网络层数增加时，反传播梯度呈指数下降

CHAPTERTWO为何需要深度网络WhyDeep

二、为何需要深度网络浅层网络vs深度网络.........浅层网络深度网络哪个更好？

二、为何需要深度网络浅层网络vs深度网络LayerXSizeErrorRate(%)LayerXSizeErrorRate(%)1X2k24.22X2k20.41X377222.53X2k18.41X