中科院研究生院机器学习课程习题.docVIP

1、考虑回归一个正那么化回归问题。在下列图中给出了惩罚函数为二次正那么函数，当正那么化参数C取不同值时，在训练集和测试集上的log似然〔meanlog-probability〕。〔10分〕

〔1〕说法“随着C的增加，图2中训练集上的log似然永远不会增加”是否正确，并说明理由。

〔2〕解释当C取较大值时，图2中测试集上的log似然下降的原因。

2、考虑线性回归模型：，训练数据如下列图所示。〔10分〕

〔1〕用极大似然估计参数，并在图〔a〕中画出模型。〔3分〕

〔2〕用正那么化的极大似然估计参数，即在log似然目标函数中参加正那么惩罚函数，

并在图〔b〕中画出当参数C取很大值时的模型。〔3分〕

〔3〕在正那么化后，高斯分布的方差是变大了、变小了还是不变？〔4分〕

图(a)图(b)

2.考虑二维输入空间点上的回归问题，其中在单位正方形内。训练样本和测试样本在单位正方形中均匀分布，输出模型为，我们用1-10阶多项式特征，采用线性回归模型来学习x与y之间的关系〔高阶特征模型包含所有低阶特征〕，损失函数取平方误差损失。

(1)现在个样本上，训练1阶、2阶、8阶和10阶特征的模型，然后在一个大规模的独立的测试集上测试，那么在下3列中选择适宜的模型〔可能有多个选项〕，并解释第3列中你选择的模型为什么测试误差小。〔10分〕

训练误差最小

训练误差最大

测试误差最小

1阶特征的线性模型

X

2阶特征的线性模型

X

8阶特征的线性模型

X

10阶特征的线性模型

X

(2)现在个样本上，训练1阶、2阶、8阶和10阶特征的模型，然后在一个大规模的独立的测试集上测试，那么在下3列中选择适宜的模型〔可能有多个选项〕，并解释第3列中你选择的模型为什么测试误差小。〔10分〕

训练误差最小

训练误差最大

测试误差最小

1阶特征的线性模型

X

2阶特征的线性模型

8阶特征的线性模型

X

X

10阶特征的线性模型

X

(3)多项式回归模型的预测误差与训练样本的数目有关。(T)

3、我们对下列图(a)所示的数据采用简化的线性logistic回归模型进行两类分类，即

。

〔为了简化，我们不采用偏差。〕

训练数据可以被完全分开〔训练误差为0，如图1(b)所示的L1〕。

(b)数据点可以被L1

(b)数据点可以被L1〔实线〕完全分开。L2、L3和L4是另外几个可能的决策边界。

(a)2维训练数据。

考虑一个正那么化的方法，即最大化

。

注意只有被惩罚。那么当C很大时，如图1(b)所示的4个决策边界中，L2、L3和L4可以通过正那么得到吗？

答：L2不可以。当正那么w2时，决策边界对x2的依赖越少，因此决策边界变得更垂直。而图中的L2看起来不正那么的结果更水平，因此不可能为惩罚w2得到；

L3可以。w2^2相对w1^2更小〔表现为斜率更大〕，虽然该决策对训练数据的log概率变小〔有被错分的样本〕；

L4不可以。当C足够大时，我们会得到完成垂直的决策边界〔线x1=0或x2轴〕。L4跑到了x2轴的另一边使得其结果比其对边的结果更差。当中等程度的正那么时，我们会得到最正确结果〔w2较小〕。图中的L4不是最正确结果因此不可能为惩罚w2得到；

(2)如果正那么项为L1范式，即最大化

。

那么随着C增大，下面哪种情形可能出现〔单项选择〕？

(a)将变成0，然后也将变成0。(T)

(b)和将同时变成0。

(c)将变成0，然后也将变成0。

(d)两个权重都不会变成0，只是随着C的增大而减小0。

该数据可以被完全正确分类〔训练误差为0〕，且仅看x2的值〔w1=0〕就可以得到。虽然最正确分类器w1可能非0，但随着正那么量增大w1会很快接近0。L1正那么会使得w1完全为0。随着C的增大，最终w2会变成0。

4、LDA

现有100个标注好的训练样本〔共有两个类〕，我们训练以下模型：

GaussI:每类一个高斯分布，两个类的方差矩阵均设为单位矩阵I；

GaussX:每类一个高斯分布，但协方差矩阵不做任何约束；

LinLog:线性logistic回归模型〔特征的线性组合〕；

QuadLog:二次logistic回归模型〔所以特征的一次和二次组合〕。

训练后，我们用训练集上的平均log似然作为模型性能的度量，并用等式或不等式表示模型间的性能关系，如“model1=model2”或“model1=model2”

GaussI=LinLog(bothhavelogisticpostiriors,andLinLogisthelogisticmodelmaximizingtheaveragelogprobabil