第3章节 决策树.pptVIP

人工智能 华中科技大学水电与数字化工程学院 第 3 章 决策树学习 决策树定义 适用问题特征 基本 ID3 算法 决策树学习的归纳偏置 训练数据的过度拟合 更深入的话题 决策树学习是一种归纳学习方法，它的特点有： 是一种学习离散值目标函数的近似表达的方法。函数表示形式: 决策树，易写为if-then 规则。 实用性强，许多著名的学习系统（ID3, C4.5 , ASSISTANT 等）皆基于此方法，并成功应用到许多实际领域（学习疾病的诊断，信贷风险的评价，等）。 能较好地抵抗噪音。 能学习析取表达式。 搜索完全的假设空间。 它的归纳偏向是小树优先于大树。 决策树表示法 决策树 通过把实例从根节点排列到某个叶子节点来分类实例 叶子节点即为实例所属的分类 树上每个节点说明了对实例的某个属性的测试 节点的每个后继分支对应于该属性的一个可能值 决策树代表实例属性值约束的合取的析取式。从树根到树叶的每一条路径对应一组属性测试的合取，树本身对应这些合取的析取。 决策树代表一个假设: (Outlook=Sunny ∧ Humidity = Normal) ∨ (Outlook=Overcast) ∨(Outlook= Rain ∧Wind=Weak) 设输入的属性集为｛A1, A2, ..., An｝，则决策树可写成：?所有以yes结束的路i （(A1=v1i) ? (A2=v