CH6-ClassBasic.pptVIP

属性选择度量 属性选择度量 分裂规则，决定给定节点上的元组如何分裂 具有最好度量得分的属性选定位分裂属性 三种度量 信息增益、增益率、Gini指标 数学符号 D为元组的训练集，元组属于m个不同的类Ci(i=1,,,m) Ci,D是D中的Ci类的元组集合 |Ci,D|和|D|分别表示各自的元组个数 * * * * * * * * 顺序覆盖算法的规则归纳 顺序覆盖算法: 直接从训练数据抽取规则 典型的算法: FOIL, AQ, CN2, RIPPER 规则被顺序地学习, 类Ci 的规则将尽量覆盖Ci 的元组，不或少覆盖其他类的元组 Steps: 一次学习一个规则 每学习一个规则，删除此规则覆盖的元组 对剩下的元组重复该过程直到终止条件, e.g., 没有训练样本/返回的规则的质量低于用户给定的阈值 与决策树对照： 同时学习一组规则 * 规则质量度量与剪枝 规则质量度量: 同时考虑 覆盖率和准确率 Foil-gain (in FOIL RIPPER): 评价扩展条件的info_gain 偏向于具有高准确率并覆盖许多正元组的规则 正用于学习规则的类的元组—正元组；其余为负元组 Pos(neg):规则覆盖的正（负）元组数 基于一个独立的测试集进行规则剪枝（即删除一个属性测试） Pos/neg are #被R覆盖的正/负元组. If 规则R 剪枝后FOIL_Prune 较高