Logistic回归知识讲解.pptxVIP

Logistic回归知识讲解REPORTING

目录引言Logistic回归模型Logistic回归的特征选择Logistic回归的性能评估Logistic回归的优缺点Logistic回归的案例分析

PART01引言REPORTING

Logistic回归是一种广义的线性模型，用于解决二分类或多分类问题。通过引入sigmoid函数或softmax函数，将线性模型的输出映射到[0,1]区间内，表示样本属于某一类别的概率。Logistic回归的目标是通过最大化似然函数来求解模型参数，使得模型能够最好地拟合训练数据。Logistic回归的定义

Logistic回归的应用场景信用评分根据客户的历史信用记录、财务状况等信息，预测客户是否会违约或拖欠贷款。营销推广根据用户的购买历史、浏览行为、社交媒体活动等信息，预测用户是否会对某种产品或服务感兴趣，并进行个性化的推荐或广告推送。医学诊断根据患者的症状、体征、实验室检查结果等信息，预测患者是否患有某种疾病。金融风控根据交易数据、用户行为、社交网络等信息，预测交易是否存在欺诈风险，以保障金融系统的安全性和稳定性。

PART02Logistic回归模型REPORTING

模型假设01假设数据服从伯努利分布，即数据只有0和1两种情况。02假设模型的输出是样本为正例的概率，即输出值在0到1之间。03假设模型参数是线性可分的，即可以用一条直线将数据分开。

03构建损失函数根据样本的真实标签和预测概率构建损失函数，一般采用交叉熵损失函数。01建立线性回归模型首先建立一个线性回归模型，即用一个线性函数来表示样本特征与目标变量之间的关系。02引入sigmoid函数将线性回归模型的输出通过sigmoid函数映射到0到1之间，得到样本为正例的概率。模型建立

梯度下降法通过梯度下降法来求解模型参数，即不断更新参数使得损失函数的值最小化。牛顿法牛顿法是一种迭代法，通过不断迭代来求解模型参数，其收敛速度比梯度下降法快。拟牛顿法拟牛顿法是在牛顿法的基础上改进而来，通过引入Hessian矩阵的近似矩阵来提高计算效率。模型求解

PART03Logistic回归的特征选择REPORTING

通过计算每个特征与输出变量之间的统计量（如卡方检验、t检验等），选择与目标变量显著相关的特征。在考虑特征之间的相互作用时，使用多变量统计方法（如多元线性回归、主成分分析等）来选择特征。基于统计学的特征选择多变量统计测试单变量统计测试

逐步回归通过迭代地添加或删除特征，基于模型的性能指标（如准确率、AUC等）来选择最佳特征子集。正则化方法利用L1正则化（Lasso）或L2正则化（Ridge）对特征系数进行惩罚，使某些特征的系数压缩为零，从而实现特征选择。特征重要性评估在训练好的模型中，评估每个特征对模型预测的贡献程度，选择重要性较高的特征。基于模型的特征选择

考虑特征之间的相关性在选择特征时，要考虑特征之间的相关性，避免选择高度相关的特征，以减少冗余信息。结合领域知识在选择特征时，可以结合领域知识和经验，选择与目标变量相关且具有实际意义的特征。避免过拟合在选择特征时，要注意防止过拟合现象，避免选择过多的特征导致模型复杂度过高。特征选择的注意事项

PART04Logistic回归的性能评估REPORTING

ABCD评估指标准确率（Accuracy）正确分类的样本占总样本的比例，用于评估模型整体性能。召回率（Recall）真正例占实际为正例的比例，用于评估模型找出所有正例的能力。精确率（Precision）真正例占预测为正例的比例，用于评估模型预测正例的准确性。F1值（F1Score）精确率和召回率的调和平均数，用于综合评估模型的性能。

交叉验证（Cross-validation）：将数据集分成k个子集，每次使用k-1个子集作为训练集，剩余的一个子集作为测试集，重复k次，取k次结果的平均值作为评估结果。ROC曲线（ReceiverOperatingCharacteristicCurve）：以假正例率为横轴，真正例率为纵轴绘制的曲线，用于评估模型在不同阈值下的性能。AUC值（AreaUnderCurve）：ROC曲线下的面积，用于评估模型的排序能力，即模型将正例排在负例前面的概率。评估方法

选择与输出变量相关性强、冗余性弱的特征，以提高模型的性能。特征选择参数调优模型融合数据增强调整模型的超参数，如正则化系数、迭代次数等，以找到最优的模型参数。将多个模型的预测结果进行融合，如投票、加权平均等，以提高模型的泛化能力。通过对原始数据进行变换、添加噪声等方式，增加数据的多样性，以提高模型的鲁棒性。性能优化的方法

PART05Logistic回归的优缺点REPORTING

优点可解释性强适用于二分类问题计算效率高可处理大规模数据集Log