第7章 数据建模与文本分析进阶.pptxVIP

数据建模与文本分析进阶宋天龙 个人微信号：tonysong201307Python数据处理、分析、可视化与数据化运营(第二版)

本章学习目标理解线性回归的基本原理和适用场景学习逻辑回归的基本概念，以及与线性回归的联系与区别掌握KMeans聚类的原理、实施步骤和结果评估方法能够通过实际案例，运用所学知识，使用Python解决数据分析问题理解中文分词的基本概念和常见方法，以及关键字提取的应用场景

7.1线性回归线性回归的基本概念和原理线性回归的特点和适用场景线性回归的实施步骤和关键要点线性回归模型的效果评估

7.1线性回归线性回归是一种统计学方法，用于建立自变量（输入变量）和因变量（输出变量）之间的线性关系。线性回归的基本概念和原理自变量与因变量之间存在线性关系，即可以用一条直线来描述二者之间的关系。概念：假设：y=β0+β1x+ε。其中，y为因变量，β0为截距，β1为斜率，x为自变量，ε为随机误差公式：

7.1线性回归（1）简单直观：线性回归模型的形式简单直观，通过最小化残差平方和来确定最佳拟合直线的截距和斜率，易于理解和解释。（2）计算效率高：计算线性回归模型的参数通常使用最小二乘法等方法，计算速度较快，适用于大规模数据集。（3）广泛适用性：线性回归适用于因变量和自变量之间的线性关系建模，可用于连续型因变量的预测和关联分析。（4）可解释性强：线性回归模型的参数（截距和斜率）直观地反映了自变量对因变量的影响程度，具有较强的可解释性。线性回归的特点和适用场景线性回归是最简单的回归模型之一，具有以下特点

7.1线性回归（1）预测分析：适用于对连续型因变量进行预测，如销售额、房价等。通过建立线性回归模型，可以预测未来的趋势和变化。（2）关联分析：通过检查回归系数的显著性和符号，可以确定变量之间的关系方向和强度。（3）效果评估：可以用于评估某些因素对特定结果的影响程度，如广告投入对销售额的影响。（4）趋势分析：可以用于分析数据的趋势，帮助预测未来的发展方向。通过观察回归直线的斜率，可以判断数据的增长或下降趋势。（5）数据探索和假设检验：可以用于探索数据之间的关系，并进行假设检验。通过检验回归系数的显著性，可以验证假设并得出结论。线性回归的特点和适用场景线性回归适用于以下场景

7.1线性回归（1）数据准备：收集并准备用于分析的数据集，包括自变量和因变量的数据。（2）数据预处理：实际情况进行处理，如填充缺失值、去除异常值等。将数据划分为训练集和测试集，其中训练集用于训练和拟合模型，测试集用于检验模型效果。（3）拟合模型：使用最小二乘法等方法拟合线性回归模型。（4）模型检验：模型使用训练集拟合后，需使用测试集检验模型效果，通常称为交叉检验。（5）模型评估：使用各种统计指标（如R2、调整R2、均方误差等）评估模型的拟合程度。（6）预测和解释：使用模型进行预测，并解释自变量对因变量的影响程度。可通过模型自身的predict等方法进行预测，并解释结果。线性回归的实施步骤和关键要点线性回归的实施步骤如下：

7.1线性回归线性回归的实施步骤和关键要点代码实现：导入库1importpandasaspd2fromsklearn.linear_modelimportLinearRegression3fromsklearn.model_selectionimporttrain_test_split4fromsklearn.metricsimportmean_squared_error,r2_score代码实现：读取数据集5df=pd.read_excel(raw_data.xlsx,sheet_name=线性回归)

7.1线性回归线性回归的实施步骤和关键要点代码实现：数据预处理6X=df[[房屋面积]]7y=df[房屋总价]8X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)代码实现：模型训练9model=LinearRegression()10model.fit(X_train,y_train)

7.1线性回归线性回归的实施步骤和关键要点代码实现：模型预测和检验11y_pred=model.predict(X_test)12mse=mean_squared_error(y_test,y_pred)13print(均方误差:,mse)14r2=r2_score(y_test,y_pred)15print(R2分数:,r2)16intercept=model.intercep