数据挖掘2015最新精品课程完整课件(第9讲)---基于规则的分类方法-2PPT.ppt

基于规则的分类 基于规则的分类器（Rule-Based Classifier） 使用一系列“if…then…” 对数据集分类 规则: (Condition)  y 此处 Condition 为多个属性-值对的合取 y 为类标号 LHS(IF 部分): 规则前件或前提 RHS(then 部分): 规则结论 分类规则例子: (血的类型=温血)  (下蛋=Yes)  鸟 (税收收入 50K)  (退税=Yes)  逃税=No 规则的应用 若样本x的所有属性满足规则的前提，称规则 r 覆盖样本 x R1: (Give Birth = no)  (Can Fly = yes)  Birds R2: (Give Birth = no)  (Live in Water = yes)  Fishes R3: (Give Birth = yes)  (Blood Type = warm)  Mammals R4: (Give Birth = no)  (Can Fly = no)  Reptiles R5: (Live in Water = sometimes)  Amphibians 规则 R1 覆盖 hawk = Bird 规则 R3 覆盖 grizzly bear = Mammal 规则的评价 规则的覆盖度(Coverage): 满足规则条件的记录的百分比 规则的正确性(Accuracy) : 在满足规则条件的记录中，也满足规则结论的记录的百分比 (Status=Single)  No Coverage = 40%, Accuracy = 50% 规则的冲突 触发：规则被满足 激活：该规则为唯一满足的 R1: (Give Birth = no)  (Can Fly = yes)  Birds R2: (Give Birth = no)  (Live in Water = yes)  Fishes R3: (Give Birth = yes)  (Blood Type = warm)  Mammals R4: (Give Birth = no)  (Can Fly = no)  Reptiles R5: (Live in Water = sometimes)  Amphibians A lemur triggers rule R3, so it is classified as a mammal A turtle triggers both R4 and R5 A dogfish shark triggers none of the rules 有序规则集 根据优先权对规则进行排序 对一个待分类的记录 若满足多条规则，则使用排在最前面的对其进行分类。 若不满足任何规则，则使用默认类别。 构造分类规则 直接方法: 直接从数据中提取规则 e.g. FOIL, AQ, CN2, RIPPER 间接方法: 从其它分类模型中提取规则 、 e.g. decision trees, neural networks, etc 直接方法: 顺序覆盖 顺序覆盖(Sequential Covering) 顺序学习规则： 对每个给定的类 Ci 希望规则可以覆盖该类 的大多数元组，但不包括其它类的元组(或很少) (1) 初始值为空规则集 (2) 使用Learn-One-Rule函数得到一条新规则 (3) 从训练集中删去被新产生的规则所覆盖的实例 (4) 重复步骤(2)和步骤(3)，直到满足停止标准为止。 示例 示例 顺序覆盖的要点 产生规则 消除实例 规则评价 停止标准 规则的剪枝 产生规则 两种常用方法 消除实例 不消除实例? 不消除正例? 不消除负例? 总是产生同一条规则 可能过高估计后续规则的正确度 可能过低估计后续规则的正确度 规则评价 标准: Accuracy Laplace M-estimate n : Number of instances covered by rule nc : Number of instances corrected classified by rule k : Number of classes p : Prior probability 停止标准 停止标准 计算增益 若增益不显著，则舍弃新规则 规则剪枝 与决策树的后剪枝相似 降低错误剪枝: 删去规则的一个合取支(conjunct) 在测试集上比较剪枝前后的错误率 若出错率降低，则剪掉这一合取支 直接方法的总结 产生一条单一规则 删除规则覆盖到的元组 若需要，对规则进行剪枝 将规则添加到当前的规则集