机器学习课后习题答案.docxVIP

机器学习（周志华）参考答案 第一章 绪论（略） 第二章 模型评估与选择 1.数据集包含 1000 个样本，其中 500 个正例，500 个反例，将其划分为包含 70%样本的训练集和 30%样本的测试集用于留出法评估，试估算共有多少种划分方式。 500一个组合问题，从 500500 正反例中分别选出 150150 正反例用于留出法评估，所以可能取法应该是(??150)2。 500 2.数据集包含 100 个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测 为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用 10 折交叉验证法和留一法分别对错误率进行评估所得的结果。 10 折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是 5050%。 留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是 100%。 3.若学习器 A 的 F1 值比学习器 B 高，试析 A 的 BEP 值是否也比 B 高。 4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。 查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。 查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例 两者并没有直接的数值关系。 5试 证明(2.22} AUC = 1 — lrank 从书 3 4页b图苍来 ， AUG 的公式不应该写的这么复杂 ， 后 来 才发现原来这个图并没有正例反例预 测值相等的仙况。当出现这种情况时 ， R OG 曲 线会 呈 斜线 上 升 ， 而 不 足这 种只有水平和垂百两种情况。 由于一开始做题时 井没有想过ROG曲 线 不可以尽斜线， 所以画了这张图 ， 如果不存在正例反例桢测俏相等的情况，那 么 斜线也没必要存在= 但是在维基百科 上看到一副图， 貌似也存在斜线的ROG , 但是不知道含义是否和我这里写的一样 htt ps:/ / e n.wiki ped ia.o rg/w iki/Rece iv e r_o pe rat ing_cha racte ris t 1c 6O引用一幅有斜线的ROG 6 O 0. 80 . 20.2 4n5 0. 8 0 . 2 0.2 0.4 0.6 0.8 4 n5 0 9 8 7 6 5 4 3 2 1 01与BE P —样， 学习器先 将所有测试样本按预测概率排序， 越可能见 开 的 排在越前面。然后依次诰历， 每 曰 描到 — 个位詈， 里面如果只有正 例 ， 则 R OG曲线垂直向上， 如果只有反例， 曲 线水平 0 9 8 7 6 5 4 3 2 1 0 1 ＋l。987654321由十TP R与F PR的分母足常数，所以这 里 按 比例 扩 大了坐标 （ 分 别 是哀实让例 和 哀实反例的数 目 倍 ），可以更好石 出 曲线士势 ＋ l。 9 8 7 6 5 4 3 2 1 可 以 石 出— 共有20个测试样本， 10 个 正 ， 10 个 反。学习器排序的结果足 十，—，（十，＋），十（，—)，（ 十，—)，（十，十），（ —，—)，（，十十），（ —，—,—)，十，—。其中栝号内的样本 排在相同的位罩。 ＜（十，十，—，—)与（十，—)，（十，—)是同样的效果 ＞ 公式 2.21累加 了所有不在正例 的反例数目 其中同样的位置标记为0.5, 在正例 前 面标记 为1。从图中可以吞出， 析线每次向右 （ 右上）延伸， 表示曰描到了 反例 肵线上方对应的面积， 就是该 反例后面有多少个正例 每个正例是—个正方形， 对应的面积 是 1 。 同位 置上的正例是个三角形， 对应的面积是0.5。计篇出总面积后， 由 于 R OG图的坐标是归—化的， 所以总面积要除以—开始放大的倍数， 也就是 m +m - . 9.试述卡方检验过程。 第三章 线性模型 2.试证明，对于参数 w，对率回归（logistics 回归）的目标函数（式 1）是非凸的，但其对数似然函数（式 2）是凸的。 如果一个多元函数是凸的，那么它的 Hessian 矩阵是半正定的。 3.编程实现对率回归，并给出西瓜数据集 3.0α 上的结果 /icefire_tyh/article/details4.选择两个 UCI 数据集，比较 10 折交叉验证法和留一法所估计出的对率回归的错误率。 /icefire_tyh/article/details5.编程实现线性判别分析，并给出西瓜数据集 3.0