《古典线性回归模型》课件.pptxVIP

《古典线性回归模型》ppt课件

目录引言线性回归模型的基本概念线性回归模型的建立过程

目录线性回归模型的评估线性回归模型的优化线性回归模型的实际应用案例

引言01

古典线性回归模型是统计学中用于分析两个或多个变量之间关系的经典模型。它基于最小二乘法原理，通过最小化预测值与实际值之间的平方误差来估计模型参数。古典线性回归模型在各个领域都有广泛的应用，如经济学、生物学、医学等。古典线性回归模型的背景

01古典线性回归模型通常表示为因变量（Y）与一个或多个自变量（X1,X2,...）之间的线性关系。02数学公式为：Y=β0+β1*X1+β2*X2+...+ε03其中，β0、β1、β2等是模型参数，ε表示误差项。古典线性回归模型的定义

预测和解释因变量（Y）的变化通过已知的自变量（X1,X2,...）来预测或解释因变量（Y）的变化趋势。分析影响因变量（Y）的因素，确定各因素对因变量（Y）的影响程度。在存在多个自变量（X1,X2,...）的情况下，通过线性回归模型可以找出对因变量（Y）影响最大的几个因素，实现数据降维。通过比较实际值与预测值，对模型进行评估和优化，提高预测精度。因素分析数据降维模型评估与优化古典线性回归模型的应用场景

线性回归模型的基本概念02

01因变量（Y）我们想要预测的变量。02自变量（X）影响因变量的变量。03误差项（ε）实际观测值与模型预测值之间的差异。线性回归模型的变量

线性关系因变量和自变量之间存在线性关系。误差项独立误差项之间相互独立，不具有相关性。无异方差性误差项的方差在所有观测值中保持恒定。无多重共线性自变量之间没有高度相关，即它们是统计独立的。无自相关误差项在时间上或不同观测点之间没有相关性。正态分布假设误差项服从正态分布。线性回归模型的假设

通过最小化实际观测值与模型预测值之间的平方差来估计参数。最小二乘法通过最大化数据的似然函数来估计参数，使得模型最有可能产生观测数据。最大似然估计在存在异方差性时，对不同的观测值赋予不同的权重，以最小化加权平方差。加权最小二乘法通过最小化绝对误差来估计参数，而不是平方误差。最小一乘法线性回归模型的参数估计

线性回归模型的建立过程03

确定自变量和因变量自变量和因变量的选择在建立线性回归模型之前，需要明确自变量和因变量的选择。自变量是可能影响因变量的变量，而因变量是我们想要预测的变量。考虑相关性和理论依据选择自变量和因变量时应基于相关性和理论依据，确保所选变量与预测目标有逻辑关联。

010203收集数据时，需要明确数据来源，确保数据的可靠性和准确性。数据来源对数据进行清洗和整理，去除异常值、缺失值和重复值，确保数据质量。数据清洗和整理根据需求进行特征工程，包括特征选择、特征转换和特征组合等，以提高模型的预测性能。特征工程数据收集和预处理

模型选择根据数据特性和需求选择合适的线性回归模型。模型参数估计使用最小二乘法等统计方法估计模型的参数。模型评估与优化通过交叉验证、调整超参数等方法评估模型的性能，并进行优化以提高预测精度。模型解释性线性回归模型具有较好的解释性，可以直观地展示自变量对因变量的影响程度和方向。模型建立和拟合

线性回归模型的评估04

01残差图02残差的正态性检验通过绘制实际值与预测值的散点图，可以直观地观察到残差的分布情况，判断是否存在异常值或离群点。通过检验残差是否符合正态分布，可以评估模型的假设是否成立，进而判断模型是否合适。残差分析

R平方值（也称为确定系数）表示模型解释的变异占总变异的比例，其计算公式为$R^2=1-frac{text{SSE}}{text{SST}}$，其中SSE是残差平方和，SST是总平方和。计算公式R平方值越接近于1，说明模型解释的变异越多，模型的拟合效果越好。解释R平方值

交叉验证将数据集分成训练集和测试集，使用训练集拟合模型，然后在测试集上进行预测，评估模型的预测误差。AIC准则AIC（赤池信息准则）是一种用于模型选择的准则，通过比较不同模型的AIC值，可以选择具有最小AIC值的模型，认为其具有更好的预测能力。模型的预测能力评估

线性回归模型的优化05

在多元线性回归模型中，如果两个或多个自变量之间存在高度相关关系，导致模型估计的参数不稳定，则称存在多重共线性。多重共线性定义降低模型的预测精度、影响估计值的稳定性、甚至导致模型估计的参数与实际情况完全相反。多重共线性的影响通过逐步回归法、岭回归法、主成分回归法等对模型进行优化。解决方法多重共线性问题

异方差性的影响导致模型的预测精度降低、模型的假设检验失效。解决方法通过加权最小二乘法、广义最小二乘法等方法对模型进行优化。异方差性定义在多元线性回归模型中，如果误差项的方差不是常数，而是随解释变量的变化而变化，则称存在异方差