知识图谱项目面试题评价表：知识蒸馏与集成学习.pdfVIP

自我介绍评价：

问题1:知识蒸馏的损失函数?

知识蒸馏使用的损失函数由两部分组成：硬目标（HardTarget）损失和软目标（SoftTarget）

损失。

追问：交叉熵损失与KL散度的关系？

交叉熵：交叉熵是⼀种度量两个概率分布之间的差异的度量⽅法。对于两个概率分布P和Q，交叉熵

可以通过以下表示：H(P,Q)=-ΣP(x)log(Q(x))。交叉熵是基于信息论的概念，⽤量在使⽤概

率分布Q来编码从分布P中得到的信息的平均信息量。

KL散度：KL散度也是⼀种度量两个概率分布之间的差异的度量⽅法。对于两个概率分布P和Q，KL

散度可以通过以下表示：D(P||Q)=ΣP(x)log(P(x)/Q(x))。KL散度衡量了在使⽤概率分布Q来表示

分布P时产⽣的额外信息量。

打分：

简评：

问题2:介绍一下集成学习?Bagging

（BootstrapAggreing）：

1、使用随机抽样（有放回）生成多个训练集，并使用这些训练集分别训练不同的模型。

2、最终的预测结果为所有模型的平均值（回归问题）或投票结果（分类问题）。

Boosting：

1、提升方法通过迭代训练模型，每次调整训练集样本的权重，使得先前模型预测错误的样