《机器学习》期末考试大题含参考答案.pdfVIP

机器学习期末考试大题含参考答案

1.什么是偏差与方差？

泛化误差可以分解成偏差的平方加上方差加上噪声。

偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了

学习算法本身的拟合能力，方差度量了同样大小的训练集的变动所导

致的学习性能的变化，刻画了数据扰动所造成的影响，噪声表达了当

前任务上任何学习算法所能达到的期望泛化误差下界，刻画了问题本

身的难度。

偏差和方差一般称为bias和variance，一般训练程度越强，偏

差越小，方差越大，泛化误差一般在中间有一个最小值，如果偏差较

大，方差较小，此时一般称为欠拟合，而偏差较小，方差较大称为过

拟合。

2.采用EM算法求解的模型有哪些，为什么不用牛顿法或梯度下

降法？

用EM算法求解的模型一般有GMM或者协同过滤，k-means其实

也属于EM。EM算法一定会收敛，但是可能收敛到局部最优。由于求

和的项数将随着隐变量的数目指数上升，会给梯度计算带来麻烦。

3.SVM、LR、决策树的对比？

模型复杂度：SVM支持核函数，可处理线性非线性问题；LR模型

简单，训练速度快，适合处理线性问题；决策树容易过拟合，需要进

行剪枝

损失函数：SVMhingeloss;LRL2正则化;adaboost指数损失

数据敏感度：SVM添加容忍度对outlier不敏感，只关心支持向

量，且需要先做归一化；LR对远点敏感

数据量：数据量大就用LR，数据量小且特征少就用SVM非线性

核.

4.GBDT和随机森林的区别

随机森林采用的是bagging的思想，bagging又称为bootstrap

aggreagation，通过在训练样本集中进行有放回的采样得到多个采样

集，基于每个采样集训练出一个基学习器，再将基学习器结合。随机

森林在对决策树进行bagging的基础上，在决策树的训练过程中引入

了随机属性选择。传统决策树在选择划分属性的时候是在当前节点属

性集合中选择最优属性，而随机森林则是对结点先随机选择包含k个

属性的子集，再选择最有属性，k作为一个参数控制了随机性的引入

程度。另外，GBDT训练是基于Boosting思想，每一迭代中根据错误

更新样本权重，因此是串行生成的序列化方法，而随机森林是bagging

的思想，因此是并行化方法。

5.请问(决策树、RandomForest、Booting、Adaboot)GBDT和

XGBoost的区别是什么？

集成学习的集成对象是学习器。Bagging和Boosting属于集成

学习的两类方法.。

Bagging方法有放回地采样同数量样本训练每个学习器,，然后

进行投票选出做好得学习器。

Boosting方法使用全部样本(可调权重)依次训练每个学习器，

迭代集成(平滑加权)。

决策树属于最常用的学习器，其学习过程是从根建立树，也就是

如何决策叶子节点分裂。

ID3/C4.5决策树用信息熵计算最优分裂，CART决策树用基尼指

数计算最优分裂，xgboost决策树使用二阶泰勒展开系数计算最优分

裂。

下面所提到的学习器都是决策树:

Bagging方法：学习器间不存在强依赖关系，学习器可并行训练

生成，集成方式一般为投票；

RandomForest属于Bagging的代表，放回抽样，每个学习器随

机选择部分特征去优化；

Boosting方法：学习器之间存在强依赖关系、必须串行生成，

集成方式为加权和；

Adaboost属于Boosting，采用指数损失函数替代原本分类任务

的0/1损失函数；

GBDT属于Boosting的优秀代表，对函数残差近似值进行梯度下

降，用CART回归树做学习器，集成为回归模型；

xgboost属于Boosting的集大成者，对函数残差近似值进行梯

度下降，迭代时利用了二阶梯度信息，集成模型可分类也可回归。由

于它可在特征粒度上并行计算，结构风险和工程实现都做了很多优化，

泛化，性能和扩展性都比GBDT要好。

6.什么是梯度消失和梯度爆炸？

梯度消失：因为通常神经网络所用的激活函数是sigmoid函数，

这个函数有个特点，就是能将负无穷到正无穷的数映射到0和1之间，

并且对这个函数求导的结果是f′(x)f(x)(1−f(x))。因此两个0到

1之间的数相乘，得到的结果就会变得很小了