- 56
- 0
- 约2.17千字
- 约 21页
- 2023-03-28 发布于湖北
- 举报
(Suitable for teaching courseware and reports);1. 引言;梯度下降法包含三种不同形式:
批量梯度下降BGD(Batch Gradient Descent )
随机梯度下降SGD(Stochastic Gradient Descent )
小批量梯度下降法MBGD (Mini-Batch Gradient Descent )
下文将以线性回归算法为例来对三种梯度下降法进行比较;2. 先导知识;从图上可以看出,大致数据的大致走势是可以用线性模型y=kx+b来表示的,为此我们建立一维线性回归模型。
假设一维线性模型表达式如下:;其中:
h?(x)是假设函数,即要拟合的函数
θ为待求解参数,即要迭代求解的值, θ求解出来了那最终要拟合的函数h?(x)就确定了。
n表示输入特征数,为方便计算,所有的样本都加入了x0=1这个特征,所以维数为n+1维。
;对应的损失/误差函数,即估计值与真实值之间的差距,这里用2-范数表示为:
其中:
m是训练集的样本个数
1/2是为了后面求导计算方便;一个二维参数( θ 0 , θ 1 )组对应能量函数(描述整个系统的优化程度,随着网络的变化而减小,最终网络稳定时能量达到最小)的可视化图;3. 批量梯度下降法BGD;梯度下降算法,利用初始化的参数θ并且反复更新参数θ:
α代表学习率,表示每次向着函数J最陡峭的
您可能关注的文档
最近下载
- (2026年)纪念红军长征胜利90周年:不忘初心跟党走强军路上勇担当PPT课件.pptx VIP
- 2022年医院环境清洁、消毒与医疗废物的管理课件.pptx VIP
- 2026广东江门市开平江开储能技术有限公司招聘4人备考题库有完整答案详解.docx VIP
- 2026教师职称-天津-天津教师职称(幼儿园学前教育、基础知识、综合素质)历年参考题库含答案详解.docx VIP
- JJF(冀) 256-2026 电梯加速度测试仪校准规范.docx VIP
- 《公立医院领导人员管理办法》2026年修订学习PPT.pptx VIP
- DB21∕T 4442-2026 工业数据流通 交易服务平台服务规范.pdf VIP
- 一例肝癌栓塞个案护理.pptx VIP
- 紧邻既有地铁车站超大规模深基坑开挖研究.pdf VIP
- 中药分析学--中药质量标志物.ppt VIP
原创力文档

文档评论(0)