机器学习算法优缺点改进总结描述.doc

Lecture 1 Introduction to Supervised Learning （1）Expectatin Maximization(EM) Algorithm (期望值最大) （2）Linear Regression Algorithm(线性回归) （3）Local Weighted Regression(局部加权回归) （4）k-Nearest Neighbor Algorithm for Regression(回归k近邻) （5）Linear Classifier(线性分类) （6）Perceptron Algorithm (线性分类) （7）Fisher Discriminant Analysis or Linear Discriminant Analysis(LDA) （8）k-NN Algorithm for Classifier(分类k近邻) （9）Bayesian Decision Method(贝叶斯决策方法) Lecture 2 Feed-forward Neural Networks and BP Algorithm （1）Multilayer Perceptron(多层感知器) （2）BP Algorithm Lecture 3 Rudiments of Support Vector Machine （1）Support Vector Machine(支持向量机) （此算法是重点，必考题） 此处有一道必考题 Lecture 4 Introduction to Decision Rule Mining （1）Decision Tree Algorithm （2）ID3 Algorithm （3）C4.5 Algorithm （4）粗糙集…… Lecture 5 Classifier Assessment and Ensemble Methods Bagging Booting Adaboosting Lecture 6 Introduction to Association Rule Mining （1）Apriori Algorithms （2）FP-tree Algorithms Lecture 7 Introduction to Custering Analysis （1）k-means Algorithms （2）fuzzy c-means Algorithms （3）k-mode Algorithms （4）DBSCAN Algorithms Lecture 8 Basics of Feature Selection （1）Relief Algorithms （2）ReliefF Algorithms （3）mRMR Algorithms最小冗余最大相关算法 （4）attribute reduction Algorithms 比较了几种分类算法性质。（以下两个表格来自两篇该领域经典论文） Lecture 1 Introduction to Supervised Learning （1）Expectatin Maximization(EM) Algorithm (期望值最大) ①算法思想： EM算法又称期望最大化算法，是对参数极大似然估计的一种迭代优化策略，它是一种可以从非完整的数据集中对参数进行极大似然估计的算法,应用于缺损数据，截尾数据，带有噪声的非完整数据。 最大期望算法经过两个步骤交替进行计算： 第一步计算期望（E）：也就是将隐藏的变量对象能够观察到的一样包含在内，从而计算最大似然的期望值； 另外一步是最大化（M），也就是最大化在E步上找到的最大似然期望值，从而计算参数的似然估计。M步上找到的参数然后用于另一个E步计算。 重复上面2步直至收敛。 ②优点：1）Ｍ步仅涉及完全数据极大似然，通常计算比较简单 　 2）收敛是稳定的，因为每次迭代的似然函数是不断增加的。 ③缺点：1）表现在对缺失数据较多或是多维高斯分布的情形下，计算量大， 2）对于某些特殊的模型，要计算算法中的M步，即完成对似然函数的估计是比较困难的。 3）在某些情况下，要获得EM算法中E步的期望显式是非常困难的。 4）EM算法的收敛速度，非常依赖初始值的设置，设置不当，计算代价当大 5）EM算法中的M-Step依然是采用求导函数的方法,所以它找到的是极值点,即局部最优解,而不一定是全局最优解。④改进：针对1）改进：扩大参数空间来加快收敛 针对2）改进：ECM算法，该算法通过在Ｍ步构建计算比较简单的小循环对EM 算法进行了改进，从而使期望函数极大化更加容易和有效，从而解决这一问题。