线性回归与决策树算法应用能力评估试题.pdfVIP

线性回归与决策树算法应用能力评估试题

考试时间：______分钟总分：______分姓名：______

第一题

简要解释线性回归模型中R²(决定系数)的含义。在什么情况下R²的值可

能为负？

第二题

假设你需要处理一个特征是分类文本数据（例如，“红色”，“蓝色”，“绿

色”）的机器学习问题。在将其输入线性回归模型之前，你需要对其进行何种处理？

请说明处理方法及其原因。

第三题

请写出使用PythonScikit-learn库，对一组特征（X）和目标变量（y）训

练一个简单线性回归模型（不包含任何正则化项）的代码片段。你需要包含导入必

要库、创建模型、拟合数据和获取模型系数的步骤。

第四题

对于一个预测房价的线性回归模型，以下评估指标哪个更常用？请说明理由。

a)决定系数(R²)

b)平均绝对误差(MAE)

c)均方根误差(RMSE)

第五题

决策树模型存在过拟合的问题。请列举至少两种导致决策树过拟合的原因，并

提出相应的缓解方法。

第六题

你使用Scikit-learn训练了一个决策树分类器，并得到了模型。请简要说明

如何使用该模型对一个新的、未经见的数据点进行预测。

第七题

在比较线性回归和决策树模型时，请讨论它们各自在处理线性关系和非线性关

系方面的特点。哪种模型对于复杂、非线性模式的捕捉能力通常更强？

第八题

假设你已经使用Scikit-learn的`train_test_split`函数将数据集划分为

训练集和测试集。请写出使用交叉验证（例如，5折交叉验证）来评估训练集中决

策树模型性能（使用默认参数）的代码片段。你需要包含导入必要库、设置交叉验

证方法和计算平均性能指标的步骤。

第九题

在训练决策树模型时，`max_depth`是一个重要的超参数。简要说明增大

`max_depth`通常会对模型产生什么影响（正负两方面）。

第十题

你为一个二元分类问题（例如，邮件是否为垃圾邮件）训练了一个决策树模型。

请解释如何根据该决策树的可视化结果，判断一个给定邮件属于非垃圾邮件（类别

0）的决策路径。你需要说明你会关注树的哪些部分。

试卷答案

第一题

R²(决定系数)表示模型对数据变异性的解释程度，其值介于0和1之间

（回归情况下，理论上可小于0）。它等于回归平方和占总平方和的比例。R²=1

表示模型完美解释了所有数据变异；R²=0表示模型无法解释数据变异。R²的值

可能为负，当模型的预测值比简单使用目标变量的均值进行预测还要差时发生，这

通常意味着模型存在严重问题或设置不当（例如，特征与目标变量完全不相关或存

在严重错误）。

第二题

处理方法：将分类文本特征进行编码，常用的方法有独热编码(One-Hot

Encoding)或标签编码(LabelEncoding)。

*独热编码：为每个类别创建一个新的二元（0或1）特征。例如，“红色”

变为`[1,0,0]`，“蓝色”变为`[0,1,0]`，“绿色”变为`[0,0,1]`。原

因：独热编码保持了类别之间的相互独立性，不会引入人为的顺序关系，适用于线

性回归模型（假设类别间无序关系）。注意：会增加特征维度。

*标签编码：将每个类别映射到一个整数。例如，“红色”-0，“蓝

色”-1，“绿色”-2。原因：标签编码将类别转换为数值，某些模型可能能处理。

但对于线性回归，这可能引入人为的顺序关系（模型可能会错误地认为红色蓝

色绿色），一般不推荐直接用于线性回归的分类特征。如果使用，需谨慎或结

合其他方法。

第三题

```python

importnumpyasnp

fromsklearn.linear_modelimportLinearRegression

#假设X是特征矩阵（形状为n_samplesxn_features），y是目标向量

（形状为n_samples）

#X=...#你的特征数据

#y=...#你的目标数据

#1.创建线性回归模型实例（不包含正则化）

model=Li