决策树学习培训讲义.pptVIP

《人工智能》第6章学习智能体-决策树学习 巢文涵 chaowenhan@buaa.edu.cn G1001/G931 北航计算机学院智能信息研究所 * 大纲 简介 决策树学习算法 应用实例 决策树(Decision Tree) 决策树学习是应用最广的归纳推理算法之一 它是一种逼近离散函数的方法 学习到的函数以决策树的形式表示 主要用于分类 对噪声数据有很好的鲁棒性 能够学习析取表达 分类任务基本框架 分类应用实例 垃圾邮件过滤 信贷分析 新闻分类 人脸识别、手写体识别等 决策树的结构 图结构 内部节点（非树叶节点，包括根节点） 在一个属性上的测试 分枝 一个测试输出 树叶节点 类标识 决策树示例 另一棵决策树 决策树分类任务框架 决策树应用 决策树应用 决策树应用 决策树应用 决策树应用 决策树应用 决策树分类任务框架 大纲 简介 决策树学习算法 应用实例 决策树算法 Hunt’s Algorithm CART ID3, C4.5 SLIQ,SPRINT 基本的ID3算法 基本算法 决策树归纳 贪婪策略 根据特定的性能度量选择最好的划分属性 要素 哪个属性是最佳的分类属性？ 如何确定最佳划分点 如何确定停止条件 度量标准——熵 熵(Entropy) 信息论中广泛使用的一个度量标准 刻画任意样例集的纯度（purity） 一般计算公式为：