批量梯度下降与随机梯度下降在逻辑斯谛回归模型训练中的对比分析.pdfVIP

2025年第46卷

第4期学报总第361期

批量梯度下降与随机梯度下降

在逻辑斯谛回归模型训练中的对比分析

孙娅楠，王艳萍，李杰

摘要：基于机器学习中的逻辑斯谛回归（LogisticRegression）模型，分别使用批量梯度下降法

（BGD）与随机梯度下降法（SGD）进行实例分析，根据马患疝气病的特征，对其是否进行外科手术判

别分析.最后给出了两种优化算法在机器学习模型训练中的适用情况及其优缺点.

关键词：逻辑斯谛回归模型；梯度下降法；机器学习

中图分类号：O241文献标志码：A文章编号：1008-7974（2025）04-0014-06

DOI：10.13877/j.cnki.cn22-1284.2025.04.003

近年来，随着信息技术、计算机技术的快标函数的最值问题.通常采用迭代法求其最

速发展，社会各领域均积累起了规模庞大的优解，梯度下降法是一种用于求解机器学习

数据.大数据和人工智能是当代科技发展的和优化问题中函数最小值的迭代方法.其核

两大重要趋势，大数据为人工智能提供了丰心思想是通过计算函数在当前点的梯度，然

富的训练数据和测试环境，使模型能够不断后沿着梯度的反方向更新参数，以此逐步逼

［1］

优化和改进.最优化理论是一种重要的数学近函数的最小值点.该方法常被作为机器

工具和方法，在经济、能源、国防、交通、通信学习领域内训练算法的核心算法，用来递归

等多个领域都有广泛的应用，其研究和发展性地逼近最小偏差模型.如人工神经网络与

一直受到学者的广泛关注.LogisticRegression广泛应用于数据挖掘、模式

无约束优化问题是最优化理论的基础，识别等领域.在机器学习中，目标函数通常是

是指在没有任何约束条件的情况下，求解目损失函数，优化目标函数的过程就是寻找一

收稿日期：2024-12-20

基金项目：安徽省社科创新发展项目（2021CX039）；宿州学院教学研究项目（szxy2023jyxm37）；安徽省教育厅重大项目（2024AH

040374）；安徽省青年骨干教师境内访学研修资助项目（JNFX2024066）；宿州学院横向项目（2024xhx053，2024xhx181，

2024xhx204）；宿州学院重点科研项目（2024yzd19）.

作者简介：孙娅楠，女，安徽淮北人，宿州学院数学与统计学院助教；王艳萍，李杰，宿州学院数学与统计学院（安徽宿州

234000）.

·14·

孙娅楠，等：批量梯度下降与随机梯度下降在逻辑回归模型训练中的对比分析

组模型参数，使得损失函数达到最小值.交叉的优缺点.

熵损失常用于机器学习中的分类问题，它的

1预备知识

定义基于信息论中的熵和相对熵的概念，交

叉熵损失能够量化模型预测的概率分布与真1.1逻辑斯谛回归

实标签之间的差异.LogisticRegression是机器学习中最常用的

［2］二分类模型，其根据现有数据对分类边界线

2012年，汪宝彬等研究了正则化格式下

SGD的收敛速度.利用线性迭代