决策树参数调优实战演练题库.pdfVIP

决策树参数调优实战演练题库

考试时间：______分钟总分：______分姓名：______

一、填空题

1.决策树在节点分裂时，常用的分裂标准有______和______两种。

2.参数`max_depth`控制决策树的深度，增大该参数值通常会______树的复

杂度，但也可能导致______。

3.参数`min_samples_split`指定了分裂内部节点所需的最少样本数，增大

该参数值会使树学习得更______，有助于防止______。

4.参数`min_samples_leaf`指定了叶节点所需的最少样本数，设置较小的值

可能导致模型在叶节点上过度拟合，而设置较大的值可能导致模型欠拟合。

5.在进行决策树参数调优时，常用的方法有______和______。

6.使用`GridSearchCV`进行参数调优时，需要设置参数的候选值范围，并通

过______来评估不同参数组合下的模型性能。

7.当决策树模型在训练集上的误差远低于在验证集上的误差时，通常认为模

型发生了______。

8.决策树的`max_features`参数控制了在寻找最佳分裂特征时考虑的特征数

量，减小该参数值可以增加模型的______，有助于防止______。

二、判断题（请判断下列说法的正误，正确的划“√”，错误的划“×”）

1.决策树的`criterion`参数只能选择“gini”或“entropy”。（）

2.使用较小的`min_samples_leaf`值通常会使决策树更倾向于学习数据中的

噪声。（）

3.网格搜索`GridSearchCV`比随机搜索`RandomizedSearchCV`总能找到全局

最优的参数组合。（）

4.决策树模型是参数化模型，其复杂度完全由超参数决定。（）

5.对于分类问题，决策树的`criterion`参数设置为“entropy”时，节点分

裂的标准是信息增益。（）

6.增大`max_depth`参数一定会提高模型的泛化能力。（）

7.即使使用交叉验证，决策树调优过程中仍然可能因为数据划分不均而导致

过拟合。（）

8.`max_features`参数对回归树不适用。（）

三、简答题

1.请简述决策树的过拟合现象，并至少列举三种可以通过调整参数来缓解过

拟合的方法。

2.解释`min_samples_split`和`min_samples_leaf`这两个参数的区别，以

及它们各自对决策树产生的影响。

3.在使用`GridSearchCV`进行决策树调优时，需要考虑哪些关键设置？请说

明`param_grid`、`cv`、`scoring`这几个参数的作用。

4.如果一个数据集包含大量特征，但在实际应用中只能使用少量特征进行预

测，这会对决策树的参数调优带来哪些挑战？你会如何应对？

四、分析题

1.假设你在使用决策树进行分类任务调优，你发现模型在训练集上的准确率

达到99%，但在验证集上的准确率只有70%。请分析可能的原因，并提出相应的参

数调整建议或进一步的分析步骤。

2.描述一下当你尝试使用网格搜索调优决策树的`max_depth`和

`min_samples_leaf`参数时，可能会遇到的情况。例如，如果尝试的参数组合导致

模型训练时间过长或内存不足，你应该如何调整参数搜索范围或调优策略？

五、编程题（使用Python语言）

假设你已经使用scikit-learn加载并预处理了一个名为`X_train`,

`y_train`的训练数据集和一个名为`X_test`,`y_test`的测试数据集（其中

`X_train`,`X_test`是特征数据，`y_train`,`y_test`是对应的标签）。请编

写代码完成以下任务：

1.创建一个决策树分类器实例`dt`，设置基础参数，例如

`criterion=entropy`，`random_state=42`。

2.定义一个参数网格