机器学习 教案 庞俊彪 第14次课---第35次课 决策树---深度神经网络基础.docx

《机器学习》教案

《机器学习》教案

适用专业：机器人、人工智能

教学年度：

教学班级：

授课教师

课程名称

授课地点

授课时间

第14次

章节题目

决策树

教学目的

模型加速能力是重要的手段也是推向模型进化的主要原因

教学重点

剪枝的可能性和本质

教学难点

理解剪枝的可能性和本质

教学方法

启发式，案例

教具

多媒体，程序运行结果，黑板板书

案例设计

用例子讲解计算过程

教学内容

决策树预剪枝

决策树的参数包括：树的深度，叶节点内的最小样本数、和信息增益阈值；

预剪枝观点是等到决策树完全生长完成再剪枝不如预先完成；预剪枝能减少计算量；

决策树悲观剪枝

悲观剪枝的条件是我们没有验证集的情况下，我们可利用置信区间的概念进行剪枝；

剪枝前后，决策树的期望错误率不超过预定义的一个阈值；

期望错误率的建模过程用二项式分布，即用二项式分布来描述落入一个节点内样本点数量；

二项式分布难以计算可以用高斯分布进行近似；

能用悲观剪枝进行决策树剪枝代码实现；

决策树代价复杂度剪枝

复杂度剪枝是既能描述分类准确性又能描述决策树复杂度的指标；

准确性的描述用分类错误率而决策树复杂度用叶结点数量；

利用最优子决策树序列的嵌套性贪心的计算复杂度剪枝的指标；

教学过程

1.讲解剪枝与过拟合的关系

2.讲解剪枝的两种范式

教学总结

授课教师

课程名称

授课地点

授课时间

第15次

章节题目

集成学习

教学目的

集成学习的分类，学习器的优劣和泛化误差

教学重点

集成学习的动机，什么是泛化误差

教学难点

如何将多个弱学习器层次的累叠在一起，掌握偏差-方差分解过程中的假设和推导过程；

教学方法

启发式，案例

教具

多媒体，程序运行结果，黑板板书

案例设计

深度神经网络和集成学习的实验分析

教学内容

集成学习的分类

集成学习的动机是将能力弱的学习器进行组合后获得能力更强的强分学习器；

将多个弱学习器加法叠加在一起-bagging和boosting；

成法集成学习-〉无法将弱能力的学习器组合后变强；

将多个弱学习器层次的累叠在一起-〉深度神经网络；

集成学习对弱学习器必须有一定的限制条件，包括，易于训练和并行化，弱学习器之间应该有某种互补性，必须在一定原则下进行集成。

学习器的优劣和泛化误差

泛化误差是指利用不同的训练集合（可能是独立同分布）对模型进行多次训练后，对同一测试集合误差的期望；

掌握偏差-方差分解过程中的假设和推导过程；

弱学习器用偏差和方差进行刻画；

教学过程

分析集成的动机

提出集成学习的学习器叠加

讲解神经网络

讲解弱学习器

分析泛化误差的影响

理解偏差-方差分解过程

教学总结

授课教师

课程名称

授课地点

授课时间

第16次

章节题目

集成学习

教学目的

掌握偏差和方差是看待模型的重要手段

教学重点

模型选择与交叉验证

教学难点

掌握模型选择的依据

教学方法

启发式，案例

教具

多媒体，程序运行结果，黑板板书

案例设计

Boosting讲解和randomforst的实验分析

教学内容

模型选择与交叉验证

训练集、验证集都属于训练集，而测试集和训练集构成全部数据；这三个集合之间互相没有交集；

因为对数据集的一次固定（随机）划分，验证集或测试集里面仍然存在偏好（例如，某些特殊的数据出现在测试集里面，而训练集少甚至没有）；

K折交叉验证是加强版本的交叉验证，是一种让样本都有一次机会成为验证集，是样本某个指标平均意义下对模型的选择；

理解高偏差，高方差，低偏差，低方差及其组合在：1）随着样本数增加；2）随着模型复杂度变化，这两个因素下的性能（误差）的表现；

我们通常认为模型参数变化后，具体的模型也会变化。狭义的理解，模型选择是对具体模型参数的选择。广义的理解，模型选择是对任意模型的选择。

教学过程

分析集成的可能性

提出集成学习的几种范式

Bagging的偏差和方差的推导和假设

讲解交叉验证的方法

教学总结

授课教师

课程名称

授课地点

授课时间

第17次

章节题目

集成学习

教学目的

偏差和方差是看待模型的重要手段

平均集成，可加性集成和叠加性集成的关系

教学重点

泛化性的分析和理解

拟合，过拟合，欠拟合之间的关系

模型选择与交叉

教学难点

Bagging的偏差和方差的推导过程

教学方法

启发式，案例

教具

多媒体，程序运行结果，黑板板书

案例设计

Boosting讲解和randomforst的实验分析

教学内容

Bagging

Bagging就是对具有低偏差但高方差学习器进行集成；

低偏差是指每个学习器分类能力强，容易会存在过拟合现象，高方差是指每个学习器预测当训练集变化时候，学习器的预测变化也很大。决策树是典型的低偏差但高方差的学习器