统计学习理论与应用教学大纲.docVIP

教学大纲 教学内容（48学时）： 引言 3学时 统计学习的发展历史、研究目的和手段以及未来发展趋势 统计学习核心问题及基本解决方法 概率统计及凸优化基础回顾 课程整体设计方案及考核标准 无监督学习 3学时 2.1 K-means聚类方法 2.2 高斯混合模型 2.3 EM算法 2.4 small-variance渐近分析 2.5 谱聚类方法 3.6 降维及主成分分析 有监督学习 6学时 3.1 Ridge回归分析 3.2 模型选择与交叉验证 3.3 稀疏正则化 3.4 Logistic回归分析 3.5 支持向量机 3.6 表示定理与核方法 贝叶斯方法 6学时 4.1 贝叶斯定理 4.2 指数族分布 4.3 广义线性模型 4.3 贝叶斯主题模型 4.4 狄利克雷混合模型 4.5 蒙特卡洛方法 学习理论 3学时 5.1 Bais/Variance分解 5.2 集中不等式 5.3 PAC学习的基本理论与框架 5.4 PAC-Bayes学习的基本理论与框架 概率图模型 6学时 6.1 条件独立性 6.2 贝叶斯网络 6.3 马尔可夫网络 6.3 基本推理与学习算法 6.4 变分推理方法 6.5 包含隐变量的推理与学习 结构化输出预测学习 3学时 7.1 条件随机场 7.2 结构化支持向量机 7.3 结构化感知机 7.4 快速优化算法 数据表示学习 9学时 8.1 稀疏表示与辞典学习 8.2 多层表示与深度学习 8.3 自适应表示的贝叶斯方法 大规模机器学习 6学时 9.1 在线学习算法 9.2 随机算法 9.3 分布式学习算法 课程实验（大作业）口头报告与讨论 3学时 : 实验名称：利用统计学习基本理论和方法解决一个应用问题，具体问题可以自选或者从备选问题中选取 实验目的：综合运用课堂上学到的相关知识，将统计学习的基本思想、理论和方法应用于解决真实应用问题，培养学生的问题分析、模型设计、模型求解、实验验证等能力，深入理解统计机器学习在解决真实应用问题中的重要作用。 实验内容： 从机器学习经典问题（如聚类、分类、结构化输出预测、数据表示学习等）中选取一个具体问题，利用公开数据集，让学生将课堂上所学到的相关知识应用于真实问题的解决过程中，提出解决方法（如模型、算法等），并进行理论分析和实验验证，比较不同解决方案的差异，得出可靠的结论。 实验环境：普通PC机或小规模集群机，任意操作系统和编程环境。 实验评测：从模型或算法假设的合理性、逻辑性和完整性、模型输出与实验结果的合理程度、论文写作的条理性、以及报告演示的清晰性等多方面进行评测。