基于FRMI的有序决策树算法及其比较研究-基础数学专业论文.docxVIP

摘 要 摘 要 有序分类是现实生活中广泛存在的一种分类问题。基于排序熵的有序决策树算法 （REMT：Rank Entropy Based Decision Tree）是处理有序分类问题的重要方法之一。这 种方法是以排序互信息作为启发式来构建有序决策树。在这一工作的基础上，本文通过 引入模糊排序熵，并以模糊有序互信息作为启发式，提出了基于模糊排序熵的有序决策 树分类算法（FREMT：Fuzzy Rank Entropy Based Decision Tree），该算法是REMT算法 的推广，此算法可以有效地处理现实问题中的有序分类问题。 这两种算法在实际应用中各有自己的优劣之处，针对这个问题本文将C4.5、RT、 REMT、FREMT四种决策树算法进行了比较研究，在十五个数据集上进行了实验，分别 从扩展属性的选择、树的复杂程度以及分类准确率，这三方面对这四种决策树算法进行 了详细的比较研究。对比分析了各个算法之间的异同以及优缺点，为解决不同的问题时 选择不同的算法提供了一个有意义的探索。 关键词 有序分类 有序决策树 比较研究 分类准确率 I Abstract Abstract Ordinal classification tasks widely exist in real word life. Rank entropy based ordinal decision tree is one of the most important ways of dealing with ordinal classification problems. Based on this work, a fuzzy ordinal decision tree algorithm is proposed in this paper by introducing fuzzy rank entropy, which employs fuzzy rank mutual information to select the expanded attributes, the proposed alogithm is an extension of ordinal decision tree algorithm. It can efficiently deal with the questions with preference ordered relation in our life. Both of them have their advantages and disadvantages. In this paper we apply C4.5、RT、 REMT and FREMT on 15 datasets and analyze four different decision trees from three aspects: the complexity of the tree, the testing accuracy and the selection of expanded attributes. The comparative study provides a meaningful exploration for selecting different algorithms to solve different problems. Keywords: Ordinal classification Ordinal decision tree Comparative study Classification Accuracy II 目 录 目 录 第 1 章 绪 论 1 1.1 背景知识及研究意义 1 1.2 有序决策树学习算法的产生、发展与研究现状 2 1.3 本文的主要内容 4 第 2 章 理论基础 5 2.1 信息论基础 5 2.2 有序分类学习理论 6 2.2.1 单调有序分类 6 2.2.2 排序互信息 7 2.2.3 模糊有序互信息 10 第 3 章 基于信息熵理论的有序决策树 12 3.1 有序熵与模糊有序熵的比较 12 3.2 构造基于模糊有序熵的决策树算法 14 3.3 性质研究 16 第 4 章 有序决策树算法的比较研究 18 4.1 决策树算法优劣的评价标准 18 4.2 几种决策树算法简介 19 4.3 四种决策树算法的分裂属性的选择方法比较 20 TOC \o 1-1 \h \z \u HYPERLINK \l _TOC_250003 C4.5 20 HYPERLINK \l _TOC_250002 RT 20 HYPE