机器学习 习题答案汇总 胡晓 第1--11章 .docx

[在此处键入]

PAGE2

[在此处键入]

PAGE2

第1章习题

第1题

垃圾分类：可回收物、有害垃圾、厨余垃圾和其他垃圾。

重量属性、湿度属性、颜色属性、形状属性、名称属性等。

第2题

模型性能评估主要是对模型性能优良进行评价，测度模型是否达到任务要求，不同任务通常设计不同评估函数；

损失函数也叫代价函数，定义为整个训练集上所有样本误差的平均；

目标函数定义为优化函数，等于代价函数+正则化项。

第3题

监督学习，每个数据都有对应标签。简单说，通过数据+标签训练模型。

非监督学习，数据没有对应标签。简单说，通过数据，获得某种潜在函数。

强化学习通过在智能体与环境的交互过程中智能体学习策略以达成回报最大化或实现特定目标。

第4题

自适应学习率、小批量梯度下降、动量

第5题

奥卡姆剃刀准则：如无必要，勿增实体。（Entitiesshouldnotbemultipliedunnecessarily）

罗生门现象(LeoBreiman)：处理问题时，往往各执一词，从而形成有利于自己的处理方式。机器学习中的罗生门现象与岭回归有关，没有唯一解。

“没有免费的午餐”定理(NoFreeLunchTheorem，NFL)：在优化算法中任何一个模型函数都不能解决所有问题。如果在一些训练样本上表现好，那么在另一些训练样本上表现不好。

第6题

0.5166．程序，略。

第1题

高斯分布对离群点非常敏感，拥挤现象影响明显。

参考教材图2.13，采用学生t分布计算相似度。实现同一簇类点(距离较近)聚合更紧密，不同簇类间点更加疏远。

第2题

x

X

XX

X

XT

第3题

E

E

E

第4题

模仿例2.4，详细过程略。

第1题

略。

第2题

提示：输入图像，计算直方图，然后估计概率分布曲线。

第3题

稀少事件指在有限次试验中很少甚至不出现事件。以至于，稀少事件概率为零，实际上并不等于零。为避免这种不准确的概率计算出现，可以采用“m-估计法”。

例如0-1事件概率计算

P

N

π0和π1为专家直觉概率，即凭先验知识，出现0和1的概率应该为π0

第1题

模仿例题4.1，详细过程略。

第2题

设包含N个样本的样本集D=x1,y1,x2,y2,…,xN,

P

P

P

第3题

ball-tree是对kd-tree的改进，在数据维度较大时，kd-tree性能急剧下降，而ball-tree在高维数据情况下具有更好的性能。

kd-tree采用二叉树思想，最近邻使用欧式距离（超球体），分割子空间为超方体。显然，分割的超方体与搜索的超球体相交可能性大，而相交空间需要检查；

ball-tree，采用两边之和与第三边大小进行判断，分割子空间也是超球体，所以分割区与搜索区相交部分减少。

第1题

略。

第2题

优化问题存在约束条件，

min

拉格朗日函数定义为，

F

优化问题存在不等式约束条件，

min

如果满足KKT条件：

?Fx,β

βk

λm

λmgm

其拉格朗日函数定义为，

F

第3题

?

第4题

?J

?J

第5题

?

第1题

设∑的特征向量和特征值分别是v和λ，即∑v=

1

v=

?

将2代入3得，

λ

?

所以有，λN

第2题

设I∈R

K

K

K

第3题

K

第4题

K

第5题

核函数均为正定函数:?n∈N,

i=1

第1题

略。

第2题

略。

第3题

定理：Hoeffding不等式

设Z1,Z

P

第4题

Booting是实现集成学习的一种机制；而AdaBoost（AdaptiveBoosting）是实现Boosting机制的一种方式。

第5题

CART与ID3和C4.5相同点：特征选择、树的?成和剪枝三个不揍。

ID3和C4.5?于分类，CART既可?于分类，也可以实现回归。

TOC\o1-3\h\z\u第8章聚类 2

8.1聚类基本理论 2

8.1.1聚类的性质 2

8.1.2相似性测度 3

8.1.3类簇中心 4

8.1.4聚类算法评价指标 6

8.2K均值聚类 11

8.3层次聚类 13

8.3.1凝聚筑巢 13

8.3.2平衡迭代削减层次聚类 15

8.4密度聚类 18

8.4.1DBSCAN 18

8.4.2高斯混合聚类 20

8.5小结与拓展 21

实验八聚类实验 21

习题 24

第8章聚类

聚类是无监督学习算法，其目的是把相似样本归为一类，不相似样本归为另一类。例如将动物聚类，可以根据“腿属性”聚类成无足动物、两腿动物和四腿动物。聚类算法大体可分为均值区域划分聚类、层次聚类、密度聚类和谱聚类算法。层次聚类算法可追溯到1963年，最著名的k均值聚类算法则于19