关联分类算法的研究.pptVIP

关联分类算法的研究 赵东垒 dongleizhao@163.com 课题研究目的 国际研究现状 主要研究内容和创新点 研究过程可能遇到的困难及解决方案 总结 参考文献 课题研究目的 分类问题是通过分析给定的一个带有类别标识的训练数据集，建立一个分类器，然后预测那些未知类别的数据对象 关联分类算法 数据集中属性的取值是符号型的 课题研究目的就是改进、优化关联分类算法 提高关联分类算法的分类精度 提高关联分类算法的效率 提高关联分类算法的可理解性 国际研究现状 1998年Liu等提出了基于类关联规则的分类算法CBA。 1999年Dong等提出显露模式分类法CAEP。 2000年Wang等结合关联规则分类和决策树分类提出关联决策树。 2001年Li等提出基于多条关联规则的分类算法CMAR。 2003年Yin等提出预测型关联规则的分类算法CPAR。CPAR采用贪婪方法从数据集中挖掘出较小规则集。 2004年Antonie提出正负关联规则的分类算法。 2005年Wang提出HARMONY，它直接挖掘覆盖样例置信度最高的规则。 2006年Adriano Veloso等提出的lazy关联分类。 2006，2007年Arunasalam提出了适用与类不平衡数据上的关联分类。 基本概念 关联规则：A=B If A then C 定义1 规则的支持度 数据集中匹配规则前件A, 并且满足类别属性取值为C的样例的个数. 定义2 规则的置信度 规则的支持度与数据集中匹配规则前件A的样例的个数的比值. 主要研究内容和创新点 关联分类算法的优点 分类精度高 适应性强 关联分类算法存在的问题 算法的执行效率 更高效的挖掘方法 剪枝的质量和效率 新的规则序关系 分类器的可理解性 交叠现象对分类起的影响 已完成的工作 算法的执行效率 在构造带类别标识的FP-tree时，在每个节点注册相应类别信息。 扩展TD-FP-Growth算法，使它能直接挖掘满足最小支持度和最小置信度的类关联规则。 优点：两次扫描数据库，不用重复建立条件FP-tree。减少了内存消耗，提高了运行效率。 带类别标识FP-tree的构造 剪枝的质量和效率 关联分类中最敏感的问题 如何评价类关联规则的质量 如何从大量的关联规则中选择有效的规则构造分类器 如何评价类关联规则的质量 经典关联分类规则序关系的定义 给定规则Ri，Rj。 Ri优于Rj，当且仅当满足以下条件之一: Ri具有比Rj更高的置信度 Ri和Rj具有相同的置信度， Ri具有比Rj更高的支持度 Ri和Rj具有相同的置信度和支持度， Ri具有比Rj更少的规则项 经典关联分类规则序关系的缺点 其本质是采用置信度，支持度，规则项数目评价顺序。过分强调了置信度，这样在最后构造的分类器中，使得有些规则置信度很高而支持度不高，造成过度拟合。 综合考虑置信度和支持度。 R1: sup(R1) = 100, conf(R1) = 98% R2: sup(R2) = 10, conf(R2) = 100% 经典序关系 R1 R2 R1 R2 R1有较好的泛化能力，R2可能过度拟合数据。 15个UCI数据库测试结果 医疗图像数据库测试结果 以后要完成的工作 完善规则评价函数 引入规则的项数 考虑类别不平衡情况 分类器中规则交叠对分类精度的影响 分类器的可理解性 关联分类构造分类器的方法 挖掘满足置信度和支持度阈值要求的类关联规则 将规则按定义的序关系排序，基于数据覆盖来选择规则 分类器的特点 数据集中每条记录都被一条评价值最高的规则覆盖 分类器中的规则在训练集中存在相互交叠的现象 规则的数目较多 交叠现象怎样产生的 交叠问题解决方法 每选择一条规则后，更新剩余规则的置信度，支持度。 难度 更新的计算量大 采用更新，是否比以前的方法有效 研究过程可能遇到的困难及解决方案 规则评价函数的确定 不同数据库的影响 交叠现象对分类精度的影响 选择规则后，更新置信度和支持度 比较不同交叠情况的分类精度 总结 针对关联分类算法存在的问题 算法的执行效率 剪枝的质量和效率 分类器的可理解性 参考文献 [9] O. R. Zaiane and M.-L. Antonie. On pruning and tuning rules for associative classifiers. In Proc. of Intl Conf. on Knowledge-Based Intelligence Information Engineering Systems (KES05), pp.966-973, 2005. [10]Adriano Veloso, Wagner Meira Jr.: Rule Generation and Rule