机器学习总结.docxVIP

算法和方法的区别：方法是一种思想，算法是方法的实现。方法是解决问题的思想，只需要一个大致过程，具体每一步可以有很多的变化，同一种方法也有很多算法。算法是具体到每一步的实现，方便转化成计算机可执行的代码。

判别式和生成式的区别：

判别式模型，就是只有一个模型，把测试用例往里面一放，label就出来了。

生成式模型，是有多个模型，把测试用例放在各个模型里面，选择最优的作为label

生成模型，就是生成(数据的分布)的模型；

判别模型，就是判别(数据输出量)的模型

【适用环境】

更进一步，从结果角度，两种模型都能给你输出量(label或yetc.)。

但，生成模型的处理过程会告诉你关于数据的一些统计信息(p(x|y)分布etc.)，更接近于统计学；

而判别模型则是通过一系列处理得到结果，这个结果可能是概率的或不是，这个并不改变他是不是判别的。

如，决策树的ifthen说不是这个就是那个(而很多属性都是有分布的)，明显是一种判别嘛；而朴素贝叶斯说，p(cancer,fat)=x%etc.，模型生成了一个分布给你了，即使你没意识到/没用到，只用到p(cancer|fat)=y%这个最终的判别。

【具体模型】

更进一步，可以再理解一下：

生成式模型

朴素贝叶斯

K近邻(KNN)

混合高斯模型

隐马尔科夫模型(HMM)

贝叶斯网络

SigmoidB