《梯度下降法》PPT课件.pptVIP

  • 56
  • 0
  • 约2.17千字
  • 约 21页
  • 2023-03-28 发布于湖北
  • 举报
(Suitable for teaching courseware and reports);1. 引言;梯度下降法包含三种不同形式: 批量梯度下降BGD(Batch Gradient Descent ) 随机梯度下降SGD(Stochastic Gradient Descent ) 小批量梯度下降法MBGD (Mini-Batch Gradient Descent ) 下文将以线性回归算法为例来对三种梯度下降法进行比较;2. 先导知识;从图上可以看出,大致数据的大致走势是可以用线性模型y=kx+b来表示的,为此我们建立一维线性回归模型。 假设一维线性模型表达式如下:;其中: h?(x)是假设函数,即要拟合的函数 θ为待求解参数,即要迭代求解的值, θ求解出来了那最终要拟合的函数h?(x)就确定了。 n表示输入特征数,为方便计算,所有的样本都加入了x0=1这个特征,所以维数为n+1维。 ;对应的损失/误差函数,即估计值与真实值之间的差距,这里用2-范数表示为: 其中: m是训练集的样本个数 1/2是为了后面求导计算方便;一个二维参数( θ 0 , θ 1 )组对应能量函数(描述整个系统的优化程度,随着网络的变化而减小,最终网络稳定时能量达到最小)的可视化图;3. 批量梯度下降法BGD;梯度下降算法,利用初始化的参数θ并且反复更新参数θ: α代表学习率,表示每次向着函数J最陡峭的

文档评论(0)

1亿VIP精品文档

相关文档