机器学习整理.docx

机器学习整理资料 1、学习方法： 二分类：每个分类器只能把样本分为两类。瓦普尼克95年提出来基础的支持向量机就是个二分类的分类器，这个分类器学习过 ?程就是解一个基于正负二分类推导而来的一个最优规划问题（对偶问题），要解决多分类问题? 就要用决策树把二分类的分类器级联，VC维的概念就是说的这事的复杂度。 多分类问题： 针对不同的属性训练几个不同的弱分类器，然后将它们集成为一个强分类器。 层次聚类： 创建一个层次等级以分解给定的数据集。此方法分为自上而下（分解）和自下而上（合并）两种操作方式。 K-中心点聚类：挑选实际对象来代表簇，每个簇使用一个代表对象。它是围绕中心点划分的一种规则 回归分析：处理变量之间具有相关性的一种统计方法 结构分析： 结构分析法是在统计分组的基础上，计算各组成部分所占比重，进而分析某一总体现象的内部结构特征、总体的性质、总体内部结构依时间推移而表现出的变化规律性的统计方法。结构分析法的基本表现形式，就是计算结构标。 2、监督学习算法： 决策树、朴素贝叶斯、逻辑回归、KNN、SVM、神经网络、随机森林、AdaBoost、遗传算法 无监督学习算法： 聚类、关联规则、训练/学习、预测、K-Means、BIRCH、Apriori 3、Nave Bayes是一种特殊的Bayes分类器,特征变量是X,类别标签是C,它的一个假定是: 特征变量X的各个维度是类别条件独立随机变量 朴素：特征条件独立 贝叶斯：基于贝叶斯定理 4、CRF（条件随机场算法）模型对于HMM（隐马尔可夫模型）和MEMM（最大熵隐马尔科夫模型）模型的优势: 特征灵活、可容纳较多上下文信息、全局最优 三者的比较、优点： （1）CRF没有HMM那样严格的独立性假设条件，因而可以容纳任意的上下文信息。特征设计灵活（与ME一样）?————与HMM比较 （2）同时，由于CRF计算全局最优输出节点的条件概率，它还克服了最大熵马尔可夫模型标记偏置（Label-bias）的缺点。 ————与MEMM比较 （3）CRF是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。 ————与ME比较 缺点：训练代价大、复杂度高 5、KNN算法： K-NN算法通过计算新数据与训练数据特征值之间的距离, 然后选取 K (K=1) 个距离最近的邻居进行分类或者回归. 如果K = 1 , 那么新数据将被分配给其近邻的类 k-NN最近邻方法在样本较少但典型性好的情况下效果较好. 6、在HMM中,如果已知观察序列和产生观察序列的状态序列，极大似然估计方法直接进行参数估计。 EM算法： 只有观测序列，无状态序列时来学习模型参数，即Baum-Welch算法 维特比算法： 用动态规划解决HMM的预测问题，不是参数估计 前向后向：用来算概率 极大似然估计：即观测序列和相应的状态序列都存在时的监督学习算法，用来估计参数 7、常见的判别模型有： 支持向量机 传统的神经网络 线性判别分析 线性回归 逻辑回归 最近邻 CRF Boosting 产生式模型常见的主要有： 高斯 朴素贝叶斯 混合多项式 混合高斯模型 专家的混合物 隐马尔可夫模型 马尔可夫的随机场 HMMs Sigmoidal Belief Networks, Bayesian Networks Markov Random Fields Latent Dirichlet Allocation 8、已知一组数据的协方差矩阵P， 1、主分量分析的最佳准则是对一组数据进行按一组正交基分解, 在只取相同数量分量的条件下,以均方误差计算截尾误差最小 2、在经主分量分解后,协方差矩阵成为对角矩阵 3、主分量是通过求协方差矩阵的特征值得到 4、K-L变换与PCA变换是不同的概念，PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当K-L变换矩阵为协方差矩阵时，等同于PCA。 9、假定某同学使用Naive Bayesian（NB）分类模型时，不小心将训练数据的两个维度搞重复了，1、模型效果相比无重复特征的情况下精确度会降低 2、当两列特征高度相关时，无法用两列特征相同时所得到的结论来分析问题 10、SVM是这样一个分类器，他寻找具有最小边缘的超平面，因此它也经常被称为最小边缘分类器（minimal margin classifier） 在聚类分析当中，簇内的相似性越大，簇间的差别越大，聚类的效果就越差。 在决策树中，随着树中结点数变得太大，即使模型的训练误差还在继续减低，但是检验误差开始增大，这是出现了模型拟合不足的问题。 11