示例学习).pptVIP

2. 信息增益 Gain(A)=I(p,n)-E(A) 其中，p、n是结点node的正、反例个数。A要扩展结点node的属性， pi、 ni是C 被A划分成的V个子集{C1, …Cv}的正、反例个数。 属性outlook,有三个值，{sunny,overcast,rain},用outlook扩展根结点得到三个子集{C1,C2,C3}。C1={1-,2-,8-,9+,11+},C2={3+,7+,12+,13+}, C3={4+,5+,6-,10+,14-} 定理2.1 公式L覆盖公式A又覆盖公式B，当且仅当它覆盖A B。 定理2.2 一个例子集合被一个一致的复合所覆盖，则这些例子的合并也是一致的。 * 第二章 示例学习 示例学习的问题描述（见表2.1,表2.2） 二. 决策树学习（ID3算法） ID3算法： 输入：例子集（正例、反例）； 输出：决策树 从树的根结点开始，每次都用“最好的属性”划分结点，直到所有结点只含一类例子为止。 – 褐 淡黄 矮 8 – 褐 黑 高 7 – 兰 黑 高 6 – 兰 黑 矮 5 – 褐 淡黄 高 4 + 兰 红 高 3 + 兰 淡黄 高 2 + 兰 淡黄 矮 1 类别 眼睛 头发 高度 例子号 [头发=淡黄∨红色][眼睛=蓝色] → + [头发=黑色] ∨[眼睛=褐色] → – 表2.