原创力文档;;
3;
4;;
网络优化目标：最小化取自数据生成分布数据的预测误差期望
J(θ)=E(x,y)~pdata[L(f(x;θ),y)]
通常pdata未知，只知道训练集中的样本：pdata≈data
经验风险最小化：用训练集上的经验分布替代真实分布
;
网络结构多样性：
l很难找到一种通用的、高效的、稳定的优化方法
l超参数一般也比较多;
非凸优化问题：
l低维空间的非凸优化问题主要是存在一些局部最优点。基于梯度下降的优化方法会陷入局部最优点，因此在低维空间中非凸优化的主要难点是如何选择初始化参数和逃离局部最优点。
l在高维空间中，非凸
文档评论（0）