机器学习与深度学习常见面试题（下）.PDFVIP

SIGAI 人工智能平台 机器学习与深度学习常见面试题（下） 1、为什么随机森林能降低方差？ 随机森林的预测输出值是多课决策树的均值，如果有 n 个独立同分布的随机变量 ，它们 x i 2 的方差都为 ，则它们的均值的方差为： 1 n 2 D x = i n i=1 n 2、对于带等式和不等式约束的优化问题，KKT 条件是取得极值的充分条件还是必要条件？ 对于SVM 呢？ 对于一个一般的问题，KKT 条件是取得极值的必要条件而不是充分条件。对于凸优化问题， 则是充分条件，SVM 是凸优化问题 3、解释维数灾难的概念 当特征向量数理很少时，增加特征，可以高算法的精度，但当特征向量的维数增加到一定 数量之后，再增加特征，算法的精度反而会下降 4 、Logistic 回归为什么用交叉熵而不用欧氏距离做损失函数？ 如果用欧氏距离，不是凸函数，而用交叉熵则是凸函数 5、解释hinge loss 损失函数 如果样本没有违反不等式约束，则损失为0 ；如果违反约束，则有一个正的损失值 SIGAI 人工智能平台 6、解释GBDT 的核心思想 用加法模拟，更准确的说，是多棵决策树树来拟合一个目标函数。每一棵决策树拟合的是之 前迭代得到的模型的残差。求解的时候，对目标函数使用了一阶泰勒展开，用梯度下降法来 训练决策树 7、解释XGBoost 的核心思想 在GBDT 的基础上，目标函数增加了正则化项，并且在求解时做了二阶泰勒展开 8、解释DQN 中的经验回放机制，为什么需要这种机制？ 将执行动作后得到的状态转移构造的样本存储在一个列表中，然后从中随机抽样，来训练Q 网络。为了解决训练样本之间的相关性，以及训练样本分布变化的问题 9、什么是反卷积？ 反卷积也称为转置卷积，如果用矩阵乘法实现卷积操作，将卷积核平铺为矩阵，则转置卷积 在正向计算时左乘这个矩阵的转置 T ，在反向传播时左乘 ，与卷积操作刚好相反，需 W W 要注意的是，反卷积不是卷积的逆运算 10、反卷积有哪些用途？ 实现上采样；近似重构输入图像，卷积层可视化 11、PCA （主成分分析）优化的目标是什么？ 最小化重构误差/最大化