机器学习和空间统计学课程.docVIP

机器学习与空间统计学课程 日程安排 地点：清华大学伟清楼610 时间：2011.5.23-5.27 (机器学习) 2011.5.30-6.3 (空间统计) 主办方：地球系统数值模拟教育部重点实验室 清华大学地球系统科学研究中心 课程概述 此课程内容涵盖机器学习和空间统计学，主要目的在于让学员深入理解常用机器学习方法以及对应用前景广阔的空间统计学有初步了解并且能够付诸实际应用。课程的要点在于算法及其实践；此外也会涉及一些必要的理论知识以便学员能够更加深入地理解算法，这也将会对学员日后设计新的算法有较大的帮助。由于机器学习内容广泛近年来发展迅速以及考虑到遥感领域的实际需要，同时为了保证课程学习效果，我们将重点讨论机器学习中的分类方法, 相信学员们会触类旁通举一反三。 课程包括讲课，阅读任务，以及课程项目。我们鼓励学员自带课题作为课程项目。课程项目的中心目的在于为学员提供消化课程内容以及实践和科研的机会。课程安排为机器学习一个星期，空间统计学三天，最后两天为课程项目演示以及诊断。我们衷心希望每一个学员都有最大的收获。 课程概述 面向全国高等院校和科研机构的相关专业，招收在读学生或科研人员。 参考书目及文献 1. T. Hastie, R. Tibshirani and J. Friedman (2001). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2. V. N. Vapnik (1998). Statistical Learning Theory. 3. S. Boyd and L. Vandenberghe (2004). Convex Optimization. 4. M. S. Bartlett (1975). The Statistical Analysis of Spatial Pattern. 5. B. D. Ripley (2004). Spatial Statistics. 6. N. Cressie (1993). Statistics for spatial data. 7. 课程大纲中提及的文献. 机器学习 7:00-9:00 学员注册：清华大学伟清楼610室 9:00-10:30 1. 机器学习简介 1.1. 什么是机器学习 (分类，聚类，排名等) 1.2. 分类问题 1.2.1. 定义 1.2.2. 性能衡量 1.2.3. 贝叶斯决策 1.2.4. 参数选取 (交叉验证) 1.3. 机器学习理论 (算法收敛性，函数空间复杂度与调控，算法一致性) 1.4. 主要数学与计算工具 1.4.1. 概率统计 (依概率收敛，大数定律，损失函数，一致性) 1.4.2. 矩阵理论 (特征值，谱分析，各种范数) 1.4.3. 优化算法 (凸优化，牛顿法，各种梯度下降算法) 1.5. 遥感中的灰度协频率矩阵 (后续讲座会多次用到) 10:45-12:00 2. 机器学习旧石器时代 2.1. 费歇尔线性区分算法 2.2. K-近邻法 (KNN) 2.3. 对数变换回归法 13:30-14:45 2.4. 神经网络 2.4.1. 定义 2.4.2. 后向反馈算法以及特性 2.4.3. 手写体识别实例 (Le Cann et al 1998) 15:00-17:00 实习 9:00-10:30 3. 支持向量机 (SVM) 3.1. 问题数学化和算法 3.1.1. 最大类间距 (软类间距， Cortes and Vapnik 1995) 3.1.3. 两阶优化算法 (对偶问题，KKT条件) 3.2. SVM理论 3.2.1. 表示定理 3.2.2. 一致性理论 3.2.3. 吉洪诺夫调控 3.2.4. 关于替代损失函数的一个结论 10:45-12:00 3.3. 核函数 3.3.1. 例子 3.3.1.1. 线性点积核 3.3.1.2. 高斯核 3.3.1.3. 字符串核 3.3.2. 核函数的复合 3.3.3. 摩斯定理 3.3.4. 可再生希尔伯特空间 3.4. 应用举例 3.3.1. 美国标准局手写体数字识别 3.3.2. 遥感图像分类 13:30-14:45 3.5. 计算问题 3.4.1. 逐次最小优化算法 (Platt 1998) 3.4.2. SVM-Light 软件包 (Joachins 1999) 3.4.3. Libsvm 软件包 (Chang and Lin 2001) 3.6. 各种SVM变体 (-学习法，-SVM等) 15