第6章分类和预测.ppt

如何进行分类？ 学习 分类 学习 监督学习 分类器的学习在被告知每个训练元组属于哪个类的“监督”进行。 无监督学习 每个训练元组的类标号是未知的，并且要学习的类的个数或集合也可能事先不知道。 用决策树归纳分类 决策树归纳是从标记的训练元组学习学习树。 决策树是一种类似于流程图的树结构；其中，每个内部节点（非树叶节点）表示在一个属性上的测试，每个分支代表一个测试输出，而每个树叶节点（或终结点）存放一个类标号。 决策树内部节点用矩形表示，而叶节点用椭圆表示。 概念buys_computer的决策树 基于规则的分类 使用IF-THEN规则分类： IF 条件 THEN 结论 IF age=youth AND student=yes THEN buys_computer=yes (age=youth)^(student=yes)= buys_computer=yes 基于规则的分类 规则R可以用它的覆盖率和准确率评价。 给定类标记的数据集D中的一个元组X，设ncovers为规则R覆盖的元组数，ncorrect为R正确分类的元组数，|D|是D中的元组数。 覆盖率 准确率 从决策树提取规则 沿着树中由根节点到每个树叶节点的路径，可以转换成IF-THEN分类规则。 * * 数据分类过程： a)学习：用分类算法分析训练数据。这里，类标号属性是credit rating，学习的模型或分类器以分类规则的形式提供。 b)分类：检验数据用于评估分类规则的准确率。如果准确率是可以接受的，则规则用于新的数据元组分类。 age=30 younth age 30-40 middle_aged age40 senior 如何使用决策树分类：给定一个类标号未知的元组X，在决策树上测试元组的属性值。跟踪一条由根到叶节点的路径，该叶节点就存放着该元组的类预测。 age=30 younth age30-40 middle_aged age40 senior R1：IF age=youth AND student=yes THEN buys_computer=yes coverage(R1)=2/14=14.28% accuracy(R1)=2/2=100% R1：IF age=youth AND student=no THEN buys_computer=no R2：IF age=youth AND student=yes THEN buys_computer=yes R3：IF middle_aged THEN buys_computer=yes R4：IF age=senior AND credit_rating=excellent THEN buys_computer=yes R5：IF age=senior AND credit_rating=fair THEN buys_computer=no