原创力文档- 1、本文档共25页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
多元线性回归与Logistic回归
contents
目录
引言
Logistic回归
多元线性回归与Logistic回归的比较
多元线性回归与Logistic回归的应用案例
结论与展望
01
引言
探究多个自变量对因变量的影响
多元线性回归和Logistic回归都是用于探究多个自变量（特征）如何共同影响一个因变量（目标变量）的统计方法。
解决实际问题
这两种回归方法广泛应用于各个领域的实际问题解决中，如经济学、医学、社会学等。
概念
多元线性回归是一种用于探究多个自变量与一个因变量之间线性关系的统计方法。
模型形式
$Y=beta_0+beta_1X_1+beta_2X_2+ldots+beta_pX_p+epsilon$，其中$Y$是因变量，$X_1,X_2,ldots,X_p$是自变量，$beta_0,beta_1,ldots,beta_p$是回归系数，$epsilon$是随机误差项。
VS
Logistic回归是一种用于探究多个自变量与一个二分类因变量之间关系的统计方法。
模型形式
$P(Y=1|X)=frac{e^{beta_0+beta_1X_1+beta_2X_2+ldots+beta_pX_p}}{1+e^{beta_0+beta_1X_1+beta_2X_2+ldots+beta_pX_p}}$，其中$P(Y=1|X)$表示在给定自变量$X$的条件下，因变量$Y$取值为1的概率。
概念
回归系数解释不同
多元线性回归的回归系数表示自变量对因变量的影响方向和程度，而Logistic回归的回归系数表示自变量对事件发生概率的对数变换影响。
因变量类型不同
多元线性回归的因变量是连续的，而Logistic回归的因变量是二分类的。
预测结果不同
多元线性回归预测的是因变量的具体数值，而Logistic回归预测的是因变量取某个值的概率。
模型定义
多元线性回归模型描述了一个因变量与多个自变量之间的线性关系。模型形式为Y=β0+β1X1+β2X2+⋯+βpXp+εY=beta_0+beta_1X_1+beta_2X_2+dots+beta_pX_p+varepsilonY=β0+β1X1+β2X2+⋯+βpXp+ε，其中YYY是因变量，X1,X2,…,XpX_1,X_2,ldots,X_pX1,X2,…,Xp是自变量，β0,β1,…,βpbeta_0,beta_1,ldots,beta_pβ0,β1,…,βp是回归系数，εvarepsilonε是随机误差项。
假设条件
多元线性回归模型需要满足一些基本假设，包括误差项的独立性、同方差性、无多重共线性等。
最小二乘法是多元线性回归中常用的参数估计方法。它通过最小化残差平方和来求解回归系数，使得模型能够最好地拟合数据。
最大似然法也是一种常用的参数估计方法。它基于概率模型，通过最大化似然函数来求解回归系数。
最大似然法
最小二乘法
02
Logistic回归
1
2
3
将线性回归的连续输出转换为概率值，用于二分类问题。
Logistic函数
P(Y=1|X)=1/(1+e^(-(β0+β1X1+β2X2+...+βnXn)))，其中β为待估参数。
模型表达式
由β0+β1X1+β2X2+...+βnXn=0定义，用于划分两类样本。
决策边界
通过最大化似然函数来求解参数β，使得模型预测概率与实际标签尽可能一致。
最大似然估计
梯度下降法
正则化
通过迭代更新参数β，使得损失函数（如交叉熵损失）达到最小。
引入L1或L2正则项，防止过拟合，提高模型泛化能力。
03
02
01
通常检验某个参数β是否为0，以判断对应自变量是否对因变量有显著影响。
原假设与备择假设
常用Wald检验、似然比检验或得分检验，构造检验统计量并计算p值。
检验统计量
根据显著性水平α和p值大小，决定是否拒绝原假设。若p值小于α，则拒绝原假设，认为对应自变量对因变量有显著影响。
决策规则
03
多元线性回归与Logistic回归的比较
适用于因变量为连续型变量的情况，可以通过多个自变量来预测一个连续型的因变量。
多元线性回归
适用于因变量为二分类或多分类的情况，可以通过多个自变量来预测一个分类结果。
Logistic回归
01
04
05
06
03
02
多元线性回归
优点：模型简单易懂，计算量相对较小，可以给出因变量的预测值及置信区间。
缺点：对异常值和离群点敏感，且假设自变量和因变量之间存在线性关系，可能不适用于非线性关系的数据。
Logistic回归
优点：适用于分类问题，可以给出分类结果的概率，对于非线性关
文档评论（0）