机器学习演示文稿(第二章).pptVIP

* 第二章 示例学习 示例学习的问题描述（见表2.1,表2.2） 二. 决策树学习（ID3算法） 学习效果的衡量标准（示例学习的优化问题） ID3算法： 输入：例子集（正例、反例）； 输出：决策树 从树的根结点开始，每次都用“最好的属性”划分结点，直到所有结点只含一类例子为止。 3. 信息增益 结点nodei 例子集C, p个正例 n个反例 结点nodei的“信息熵” – 褐 淡黄 矮 8 – 褐 黑 高 7 – 兰 黑 高 6 – 兰 黑 矮 5 – 褐 淡黄 高 4 + 兰 红 高 3 + 兰 淡黄 高 2 + 兰 淡黄 矮 1 类别 眼睛 头发 高度 例子号 [头发=淡黄∨红色][眼睛=蓝色] → + [头发=黑色] ∨[眼睛=褐色] → – 表2.1 表2.2 p false normal cool sunny 9 N False High mild sunny 8 P True Normal cool overcast 7 N True Normal cool rain 6 P False Normal cool rain 5 P False High mild rain 4 P False High hot overcast 3 N True High hot sunny 2 N False High hot sunny 1 Class W