计算机专业研究生复试-机器学习面试简答题.docxVIP

机器学习问题整理 什么是梯度爆炸和梯度消失？如何解决梯度消失、梯度爆炸？ 在反向传播过程中需要对激活函数进行求导，如果导数大于1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。同样如果导数小于 1，那么随着网络层数的增加梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，属于先天不足。 解决方法： 对于RNN，可以通过梯度截断，避免梯度爆炸。 可以通过添加正则项，避免梯度爆炸。 使用LSTM等自循环和门控制机制，避免梯度消失。 优化激活函数，譬如将sigmoid 改为relu，避免梯度消失。 数据挖掘是干什么的？ 数据挖掘：数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程，包含了机器学习、统计学、数学等多个学科的知识。 数据挖掘三大常见的任务： 回归任务：回归任务是一种对连续型随机变量进行预测和建模的监督学习算法，使用案例包括房价预测、股票走势等。 分类任务：分类是一种对离散型变量建模或预测的监督学习算法，使用案例包括邮件过滤、金融欺诈等。 聚类任务：聚类是一种无监督学习，它是基于数据的内部结构寻找观察样本的自然族群（集群），使用案例包括新闻聚类、文章推荐等。 更广泛的任务还有推荐、图像识别、预测等相关算法。 监督学习：数据集中每个样本都有相应的标签。 无监督学习：数据集中的样本没有相应的标签。无监督学习算法（Unsupervised Learning）使用无标记数据（输入变量没有对应输出结果），试图识别数据本身的内部结构。无监督学习算法主要有两类：降维算法（降低数据维度）如主成分分析等，聚类算法如K均值聚类、层次聚类等。 回归模型 从大量的函数结果和自变量反推回函数表达式的过程就是回归。 回归算法是一种有监督学习算法，用来建立自变量 X和观测变量 Y 之间的映射关系，如果观测变量是离散的，则称其为分类Classification；如果观测变量是连续的，则称其为回归Regression。 线性回归模型试图学得一个线性模型以尽可能准确地预测实值 X 的输出标记 Y。在这个模型中，因变量 Y是连续的，自变量 X可以是连续或离散的。 逻辑回归：因变量是定性变量，是分类问题。logistic回归则通过函数sigmoid将ax+b对应到到(0,1)，从而完成概率的估测。 在回归分析中，如果只包括一个自变量和一个因变量，且二者关系可用一条直线近似表示，称为一元线性回归分析；如果回归分析中包括两个或两个以上的自变量，且因变量和自变量是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线，对于三维空间线性是一个平面，对于多维空间线性是一个超平面。 优点： 1、模型简单，训练速度快； 2、逻辑回归广泛应用与工业问题上。 3、便利的观测样本概率分数； 4、对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题； 5、计算代价不高，易于理解和实现； 缺点： 1、特征空间大时逻辑回归的性能不是很好； 2、对于非线性特征需要转换； 3、依赖于全部数据； 4、容易欠拟合，一般准确度不太高；不能很好地处理大量多类特征或变量； 5、 只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类，也可以使用一对多分类。），且必须线性可分；对于非线性特征，需要进行转换 典型例子：线性回归求房价、自变量求导。逻辑回归：MINST 数据集、鸢(yuan)尾花数据集（iris 数据集） k-means算法（k均值算法） 聚类算法。 K-means 是我们最常用的基于欧式距离的聚类算法，其认为两个目标的距离越近，相似度越大。 聚类算法，事先确定常数 k， k代表着聚类类别数。首先随机选取 k个初始点为质心，并通过计算每一个样本与质心之间的相似度（可以采用欧式距离），将样本点归到最相似的类中，接着重新计算每个类的质心（该类中所有点的平均值），重复这样的过程直到质心不再改变，最终就确定了每个样本所属的类别以及每个类的质心。 优点：原理简单、容易实现。 缺点：收敛太慢、算法复杂度高、需先确定K的个数、结果不一定是全局最优，只能保证局部最优。 典型的例子： 葡萄酒分类 kNN （k近邻）学习 思路：给定测试样本，基于某种距离度量找出训练集中与其最靠近的 k个训练样本，然后基于这 k个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这 k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这 k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。 优点： 1、思想简单，易于理解，易于实现，无需估计参数，无需训练； 2、适合对稀有事件进行分类； 3、特别适用于