svm 支持向量机 入门.docVIP

svm 支持向量机 入门 svm(支持向量机)入门2011-04-25 10：42Why this tutorial is here 我一直觉得SVM是个很有趣的东西，不过也一直没办法(mostly冲堂)去听林智仁老师的Data mining跟SVM的课；后来看了一些网路上的文件跟听kcwu讲了一下libsvm的用法后，就想整理一下，算是对于并不需要知道完整SVM理论的人提供使用libsvm的入门。原始libsvm的README跟FAQ也是很好的文件，不过你可能要先对svm跟流程有点了解才看得懂(我在看时有这样的感觉)；这篇入门就是为了从零开始的人而写的。 后来还有一些人提供意见，所以在此要感谢： kcwu,biboshen,puffer,somi 不过请记得底下可能有些说法不一定对，但是对于只是想用SVM的人来说我觉得这样说明会比较易懂。 这篇入门原则上是给会写基本程式的人看的，也是给我自己一个备忘,不用太多数学底子，也不用对SVM有任何先备知识。 还看不懂的话有三个情形,一是我讲的不够清楚,二是你的常识不足,三是你是小白^； 我自己是以完全不懂的角度开始的，这篇入门也有不少一样不懂SVM的人看过、而且看完多半都有一定程度的理解，所以假设情况一不会发生，那如果不懂一定是后两个情况：P也所以,有问题别问我。 SVM：What is it and what can it do for me? SVM,Support Vector Machine,简而言之它是个起源跟类神经网路有点像的东西，不过现今最常拿来就是做分类(classification)。也就是说，如果我有一堆已经分好类的东西(可是分类的依据是未知的！)，那当收到新的东西时，SVM可以预测(predict)新的资料要分到哪一堆去。 听起来是很神奇的事(如果你觉得不神奇，请重想一想这句话代表什么：分类的依据是未知的！，还是不神奇的话就请你写个程式解解看这个问题)，也很像要AI之类的高等技巧.不过SVM基于统计学习理论可以在合理的时间内漂亮的解决这个问题。 以图形化的例子来说明(by SVMToy),像假定我在空间中标了一堆用颜色分类的点,点的颜色就是他的类别,位置就是他的资料,那SVM就可以找出区隔这些点的方程式,依此就可以分出一区区的区域；拿到新的点(资料)时,只要对照该位置在哪一区就可以(predict)找出他应该是哪一颜色(类别)了： 原始资料分布 SVM找出来的区域 当然SVM不是真的只有画图分区那么简单,不过看上面的例子应该可以了解SVM大概在作什么. 要对SVM再多懂一点点，可以参考cjlin在data mining课的slides：pdfor ps。 底下我试著在不用看那个slide的情况解释及使用libsvm。 所以,我们可以把SVM当个黑盒子,资料丢进去让他处理然后我们再来用就好了. How do Iget SVM? 林智仁(cjlin)老师的libsvm当然是最完美的工具. Download libsvm 下载处： .zip跟.tar.gz基本上是一样的,只是看你的OS；习惯上Windows用.zip比较方便(因为有WinZIP,不过我都用WinRAR),UNIX则是用.tar.gz Build libsvm 解开来后,假定是UNIX系统,直接打make就可以了；编不出来的话请详读说明和运用常识.因为这是tutorial,所以我不花时间细谈,而且会编不出来的情形真是少之又少,通常一定是你的系统有问题或你太笨了.其他的子目录可以不管,只要svm-train,svm-scale,svm-predict三个执行档有编出来就可以了. Windows的用户要自己重编当然也是可以,不过已经有编好的binary在里面了：请检查windows子目录,应该会有svmtrain.exe,svmscale.exe,svmpredict.exe,svmtoy.exe. Using SVM libsvm有很多种用法,这篇tutorial只打算讲简单的部分. The programs 解释一下几个主要执行档的作用：(UNIX/Windows下档名稍有不同,请用常识理解我在讲哪个) svmtrain Train(训练)data.跑SVM被戏称为开火车也是由于这个程式名而来.train会接受特定格式的输入,产生一个Model档.这个model你可以想像成SVM的内部资料,因为predict要model才能predict,不能直接吃原始资料.想想也很合理,假定train本身是很耗时的动作,而train好可以以某种形式存起内部资料,那下次要predict时直接把那些内部资料load进来就快多了. svmpredict 依照已经train好的model,再加上给定的输入(新值),输出pr