统计机器学习概论.ppt

* * * 控制在10页 * * 控制在10页 * * 单单级网： W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+…+xnwnj 其中, 1≤ j ≤ m。取 NET=（net1，net2，…，netm） NET=XW O=F（NET） * 单级横向反馈网： V=（vij） NET=XW+OV O=F（NET） 时间参数——神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1)) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定 * COLT(Computational Learning Theory) * * * Despite violating Mercer condition, the sigmoid kernel function can still work * * 控制在10页 * 控制在10页 * 挑战(4)：数据利用能力（续） 共性问题： 在绝大多数领域中都会遇到“坏”数据，有时甚至只有“坏”数据 例子：海军舰队 Web “坏”数据 —— 大量噪音、属性缺失、不一致、…… 传统的“坏”数据处理方式 — “扔掉” “坏”数据一点用也没有吗？ 第四个挑战： 今后10年 能否“数据通吃”？ 如何“吃”？ 挑战(4)：数据利用能力（续） 挑战(5)：代价敏感 目前的机器学习技术 — 降低错误率 “错误”是没有区别的吗？ 把“好”当成“坏” 把“坏”当成“好” 共性问题： 大多数领域中的错误代价都不一样 例子：入侵检测 癌症诊断 一样吗？ 第五个挑战： 今后10年 能否“趋利避害”？ 在达到较低的总错误率的基础上， 如何“趋”、如何“避”？ 挑战(5)：代价敏感（续） 挑战：…… More …… 在任何一个挑战上取得突破性进展，都可能成为对机器学习的重要贡献 Magic of Machine Learning * Magic of Machine Learning * 主流期刊和会议 Journals: Journal of Machine Learning Research Machine Learning IEEE Transactions on Pattern Analysis and Machine Intelligence Neural Computation IEEE Transactions on Neural Networks IEEE Transactions on Knowledge and Data Engineering Conferences: NIPS: Neural Information Processing Systems COLT: Computational Learning Theory ICML: International Conference on Machine Learning KDD: Knowledge Discovery and Data Mining in Database * 相关资料 Books: C. Bishop. Neural Networks for Pattern Recognition, 1995. V. Vapnik. The Nature of Statistical Learning Theory, 1995. T. Hastie, R. Tibshirani, J. Friedman. The elements of Statistical Learning, 2001. B. Sch?lkopf, A. J. Smola. Learning with Kernels, 2002. * * 附录、典型机器学习包介绍 典型的机器学习开发包 OpenCV：Machine Learning Library 介绍内容来自《OpenCV机器学习中文参考手册》 Weka：Machine learning/data mining software written in Java 介绍的PPT节选自E. Frank《Machine Learning with WEKA》 SVM开发包 LIBSVM SVM-Light …… …… * OpenCV structure CXCORE basic structures and algoritms, XML support, drawing functions CV Image processing and vision HighGUI GUI, Image and Video I/O ML