机器学习与知识发现实验—酒分类.docx

Usingchemicalanalysisdeterminetheoriginofwines赵启杰S摘要

采用较简单的决策树归纳算法根据红酒的成分对其进行分类，划分度量采用的是Gini指标，所有数据都看做是连续属性，进行二元划分，最后得到的是一棵二叉决策树。最后采用二折交叉验证的方式，进行评估，得到的分类准确度在85%左右。

为了简单，没有考虑噪声的干扰，没有考虑模型的过分拟合问题，没有考虑泛化误差。

相关工作

算法的实现参考《数据挖掘导论》算法4.1的决策树归纳算法的框架。TreeGrowth(E,F)

ifStopping_cond(E,F)=truethenleaf=creatNode()leaf.label=Classify(E)returnleaf

else

root=creatNode()root.test_cond=find_best_split(E,F)

令V={v|v是root.test_co的nd一个可能的输出}for每个vinVdo

E ={e|root.test_cond(e并)=且v

v

child=TreeGrowth(E,F)

v

einE}

将child作为root的派生节点添加到树中，并将边(root--chi标ld记)为v

endforendifruturnroot

其中E是训练记录集，F是属性集。

涉及到的主要类：Tuple：数据集的一条记录，这里把记录的所有属性都当成浮点型数据处理。

TupleTabl：e整个数据集。其中iClassNum代表总共的类数，iTableLen代表记录数，

iTupleSize代表记录的属性数，rgStrClasse保s存所有的类，rgStrAttribu保te存所有的属性，rgTuples保存所有的记录。

DecisionNode：决策树中的一个节点。TestCond：决策树非叶子节点中保存的测试条件。

涉及到的主要方法：TupleTabl：e：InitTableFromFile

从数据文件获取数据，初始化数据集。数据文件格式需要做适当修改。TupleTabl：e：TupleIndexs

从数据集导出一个数据集的索引，即一个由Tuple指针组成的数组，该数组中的每一个元素指向TupleTable中的一个Tuple。可以通过比较Tuple的值对索引中的指针进行排序。

Stopping_cond

通过检查是否所有的记录都属于同一个类，或者都具有相同的属性值，决定是否终止决策树的增长，或者检查记录数是否小于某一个最小阈值（_BOUNDARY_RECORD_）。通过调整阈值可以在一定范围内改变分类器的准确率。

CreateNode

为决策树建立新节点，决策树的节点或者是一个测试条件，即一个testcond对象，或者是一个类标号。

Find_best_split

确定应当选择哪个属性作为划分训练记录的测试条件。使用的不纯性度量是Gini指标。首先对索引按第j个属性进行排序，如果索引中第i个记录和第i+1个记录不是同一个类，则将第i个记录和第i+1个记录的属性j的中间值作为划分点，计算Gini指标。循环计算所有可能的Gini指标，找出其中的最小值，保存属性名和属性值，作为当前最优测试条件。

GetGini

获取某个训练数据子集的Gini指标。

Gini(t)1

c1

[p(i|t)]2

i0

其中p(i|表t)示节点t中属于类i的记录所占比例。Classify

为节点确定类标号，对于节点 t，统计分配到该节点的所有记录中类 i的记录数0iiClassNum，则节点的类标号为max{i}。

Sort_record

对记录子集的索引按照某个属性从小到大进行排序，为了简单，使用了冒泡。TreeGrowth

递归创建决策树。

创建决策时之前需要对作为输入的数据集文件做适当修改：属性个数n

属性名1

.

.

.

属性名n类个数m类名1

.

.

.类名m记录数k

类名，属性1，..，.属性n

.

.

.

类名，属性1，..，.属性n

由于分类器的性能评估并不是实验的主要内容，因此这里只是简单的做了一下二折交叉验证，将数据集随机分成两个子集，其中一个作为训练集，另一个作为检验集，然后互换集合再做一次，最后得到的准确率在85%左右。

优劣分析：

1〉决策树归纳是一种构建分类模型的非参数方法。换言之，它不要求任何先验假设，不假定类和其他属性服从一定的概率分布（如Logistic