厦门大学机器学习考试题.docxVIP

厦门大学机器学习考试题 厦门大学机器学习考试题 PAGE / NUMPAGES 厦门大学机器学习考试题 第一题 判断题（ 10 分，每题 1 分） [1] 逻辑斯蒂回归模型能够用来做分类，但是 SVM不能够用来做回归。 （ ） 训练数据较少时更简单发生过拟合。 （ ） 若是回归函数 A 比 B 简单，则 A 必然会比 B 在测试集上表现更好。 （ ） [4] 在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。 （ ） [5] 在 AdaBoost 算法中，所有被错分的样本的权重更新比率相同。 （ ） Boosting 的一个优点是不会过拟合。 （ ） 梯度下降有时会陷于局部极小值，但EM 算法不会。（ ） SVM对噪声（如来自其他分布的噪声样本）鲁棒。（ ） 经验风险最小化在必然条件下与极大似然估计是等价的。（ ） [10] 在回归解析中，最正确子集选择能够做特色选择； Lasso 模型也能够实现特色选择。 （ ） 第二题 统计学习方法的三要素（ 10 分） 1. (5 分 ) H 是一个函数空间， p( x, y) 是 X Y 上一个概率测度， D { xi , yi } in 1 是 X Y 的一 个子集（采样） ， ( f ) L (x, y, f ( x, y)dp ， ( f ) 1 n L( xi , yi , f (xi , yi )) ， X Y n i 1 fH arg min ( f ) , f z argmin ( f ) , 请问： f H f H (2 分 ) ( f z ) ( fH ) 随着 N 增大而增大吗为什么 (3 分 ) ( f z ) ( fH ) 随着 H 增大而增大吗为什么 2. (5 分 ) 比较感知机、逻辑斯蒂回归模型、 AdaBoost 和 SVM的损失函数。 第三题 产生式模型和鉴识式模型 （ 10 分） （ 5 分）讲解产生式模型和鉴识式模型，并解析二者的不相同点； [2] 列出三种鉴识式模型（ 3 分）和两种产生式模型（ 2 分） 第四题 EM and Naive Bayes （15 分） （ 5 分）归纳 EM算法的用途及其主要思想； （ 10 分） EM算法能够用到朴素贝叶斯法的非督查学习，写出其算法。 第五题 HMM （10 分） 考虑盒子和球模型 ，状态会集 ，察看会集 ， ， ， 设 T=3， O=(红、白、红 ) ，试用前向算法计算 . 第六题 SVM（ 15 分） 考虑利用线性支持向量机对以下两类可分数据进行分类： +1： (1,1), (2,2), (2,0) -1 ： (0,0), (1,0), (0,1) （ 4分）在图中做出这 6个训练点，构造拥有最优超平面和最优间隔的权重向量； （ 3分）哪些是支撑向量 [3] （ 8分）经过搜寻拉格朗日乘子 i 来构造在对偶空间的解，并将它与 [1] 中的结果比较。 第七题 Logistic 回归模型（ 15 分） 如图 1(a) 所示，数据采用简化的线性 logistic 回归模型进行两类分类，即， P Y 1 x, w1, w2 g w1 x1 w2 x2 1 w2 x2 ) 1 exp (w1 x1 为了简化，不采用误差 0, 训练数据能够被完好分开（训练误差为 0，如图 1(b) 所示的 L 1）。 w o o o L3 o L 4 o o o o o o o o L 2 o o o o + + + + + + L 1 + + + + + + 图 1(a) 二维训练数据 图 1(b) 可能的决策面： L 1,L 2,L 3,L 4 [1] （ 8分）考虑一个正则化的方法，即最大化 N C w22 , 注意只有 log P yi xi , w1 , w2 被惩 i 1 2 罚。则当 C 很大时， 如图 1(b) 所示的 4 个决策界线中， 哪条线可能是由该正则方法获取 的L 、L 和L 4 能够经过正则 获取吗简要说明原由。 2 3 N C [2] （ 7分）若是我们将正则项给出 L1 范式，即最大化 log P yi w2 , xi , w1 , w2 w1 i 1 2 则随着 C 增大，下面哪一种状况可能出现（单项选择） 注：简要说明原由 (A) 将变成 0，尔后 也将变成 0。 (B) 将变成 0，尔后 也将变成 0。 (C) 和 将同时变成 0。 (D) 两个权重都不会变成 0，可是随着 C的增大而减小为 0。 第八题  AdaBoost  （15 分） 考虑以以下图 2 所示的训练样本， 其中’ X’和’ O’分别表示正样本和负样本。 采用 A