决策类划分的多变量决策树实例运算与优化分析.pdfVIP

决策类划分的多变量决策树实例运算与优化分析

黄俊南

【摘要】基于决策类划分的多变量决策树算法是一种新型的多变量算法.选取较复

杂的实例构建训练集,并用新算法构造决策树,验证算法可行性和便捷性.从优化算法

和比配分析两细节入手,有效地提升了算法的准确度,进一步降低了算法的时间复杂

程度.

【期刊名称】《齐齐哈尔大学学报（自然科学版）》

【年(卷),期】2018(034)005

【总页数】6页(P1-6)

【关键词】决策树;多变量;训练集;样本优化;比配分析

【作者】黄俊南

【作者单位】泉州经贸职业技术学院信息系,福建泉州362000

【正文语种】中文

【中图分类】TP301.6

机器学习在近几年迅速发展，是一门多领域交叉学科。其应用领域涵盖专家系统、

认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自

然语言理解、机器人和博弈等。机器学习算法主要分为符号主义和连接主义这两大

类。[1]决策树是机器学习最基础且广泛应用的算法模型，大多数归纳学习系统得

到的结果是一棵决策树[2]。主要的决策树算法代表有：Quinlan的单变量算法

ID3[3]、C4.5[4]和苗夺谦的粗糙集多变量算法[1]。基于决策类划分的新型多变量

决策树算法[5]是作者于2015年提出的一种新型多变量决策树算法，通过新的角

度对多变量决策树进行构造。

一个决策表可以形式化定义为[6]：，其中是所感兴趣对象的有限集合，是属性的

有限集，C为条件属性集，D为决策属性集，并且，∨为属性集的值域，为一个信

息函数，表示任一对象的属性在∨上的取值，即，它指定了U中每一个对象x的属

性值。决策表中的依赖关系决定了一套if…then…形式的规则集。从逻辑观点出发，

决策规则将形如a=∨(a为属性名，∨为属性值)的基本公式利用连接词语“与”、

“或”和“蕴含”连接起来所建立的蕴含式。蕴含式前件表示条件，后件表示决策

[7]。

训练集使用某学院“学籍管理数据库”中的学生成绩表，并将其转换为相应的训练

实例。实例包含6个属性：姓名、行政班、平时成绩、实训成绩、期末成绩、总

评成绩。取同一任课教师一门课程的2个班共53名学生用于构建训练实例，经初

步分析发现，2个班中一个班所修习的课程有对应的先修课程而另一班没有，在此

将行政班转换为先修课程，而后取得的学生成绩训练实例情况如表1所示。

为便于实验计算，对表1中的数据进行合理性转换，其中将成绩转换为优、良、

中、差4个等级（优：成绩=90，良：成绩=80，中：成绩=60，差：成绩

60）；姓名转换为编号。

转换后获取的学生成绩训练集情况如表2所示。

对表2进行分析，发现训练集中存在条件属性值相同且决策属性值相同的样

本，对此类样本采取合并只取其一的方式进行优化，最后保留了34条完全不同的

样本。

基于决策类划分多变量算法主要包含五大步骤，概述为：（1）依据决策属性

值划分决策类；（2）利用决策类之间条件属性集相交判断二义性条件属性；（3）

利用决策类各条件属性值域的不同判断独立决策条件属性值；（4）利用复合运算

获得多变量决策方法；（5）使用或运算符连接各个部分的决策规则获取完整的决

策规则。

对学生成绩训练集（U）的决策值进行不可分辨关系划分。决策属性值域，将

论域U划分为优、良、中、差4个等价决策类，并分别用来表示。划分后的结果

为

当一个文法中存在某个句子对应多棵不同的语法树，则说明这个文法是二义的。在

此表现为相同的条件属性值推断出不同的决策属性值。

用分别表示各个等价决策类的条件属性集，运用二义性条件属性排除法对各论域样

本进行运算。最终结果为：={{中,优,优,否},{优,良,优,否},{良,优,优,否}}，{{差,优,优,

有}}。对应交集所投影的论域样本包含{20,22,23,6,14,30,42,4}，将对应样本从各

论域中排除所得到的4个决策类论域表如3～6所示。

求的各条件属性值域。C优各个条件属性值域为：各个条件属性值域为。C

中各个条件属性值域为：各个条件属性值域为：

将各个值域的条件属性值域进行比较分析后，仅其余比较结果均为空。推导

出（a3=差）à（D=中）的独立决策条件属性值。

将“a3=差”的独立条件属性值相关样本41从论域中排除，

多变量决策树复合运算法沿用如下9个步骤：

（1）集合分量相交：将各自条件属性集合的样本与自身其它样本一一进行