基于最大margin决策树归纳的研究.pptxVIP

基于最大margin决策树归纳的研究 王海波符号学习研究组报告提纲国内外研究现状存在问题研究目的与意义实现思路进一步的工作国内外研究现状之SVMSVM的提出（Vapnik 1995）SMO算法 （Platt 1998）聚类SVM （Boley 2004）Margin Tree （Tibshirani 2007）聚类SVM返回Margin Tree国内外研究现状之SVM反问题SVM反问题的提出SVM反问题求解——遗传算法SVM反问题求解——K-means聚类SVM反问题在决策树中的应用SVM反问题在决策树中的应用基于最大margin的决策树归纳求解SVM反问题获得具有最大margin的最优超平面存在问题时间复杂度SMOSVM反问题聚类解决SVM反问题SVM反问题的求解研究目的与意义目的：使SVM反问题的求解在多项式时间内完成，使决策树的训练时间大大缩短。意义：由于训练过程的加快，使得基于Margin的决策树归纳可以得到更广泛的应用聚类实现思路04.244.202.342.30算法描述及时间复杂度1 原始数据聚类：三类2 求margin矩阵：3×(3-1)/2次SMO求解3 再次聚类得到margin tree4 求划分超平面:一次SMO求解新算法时间复杂度：进一步工作Margin tree 算法的实现及修改增加聚类的类别数遇到的问题Margin 矩阵的求解修改SMO方法，使得不进行数据处理也可得到margin找一种方法，把数据变换后的margin还原回去参考文献一V.N. Vapnik. The Nature of Statistical Learning Theory, Springer, New York, ISBN 0-387-98780-0,2000.Platt J C. Fast Training of SVM Using Sequential Minimal Optimization. In Scholkopf B, Burgs CJC, Smola A J eds. Advances In Kernel Methods-Support Vector Machine, Cambridge, MA:MIT press, 1998, 185-208.Daniel Boley, Dongwei Cao. Training support vector machine using adaptive clustering[A]. Proc. of Fourth SIAM International Conference on Data Mining [ C ] . Lake Buena Vista, FL, United States, 2004.Robert Tibshirani, Trevor Hastie. Margin trees for high-dimensional classification, Journal of Machine Learning Research Vol. 8, pp.637-652, 2007参考文献二Volkan Vural, Jennifer G.Dy. A hierarchical method for multi-class support vector machines. International Conference on Machine Learning; Proceeding Series; Vol. 69, 2004.Xi-zhao Wang, Qiang He, De-Gang Chen, Daniel Yeung. A genetic algorithm for solving the inverse problem of support vector machines. Neuro computing 68(2005):225-238.Jie Zhu, Shu-fang Wu, Li Xue, Xi-zhao Wang. An improved algorithm for inverse problem of svms based on clustering. IEEE System, Man and Cybernetics Society, vol. 8, pp.4694-4698, 2006.Ning Li, Xi-zhao Wang, Li Xue. Decision tree induction based on large margin heuristic. IEEE System, Man and Cybernetics Society, vol. 8, pp.4699-4702, 2006.参考文献三Platt, J., Cristianini, N