浅谈决策树分类法及其应用.pdfVIP

科 I技 l论 l坛 科 浅谈决策树分类法及其应用 徐爱林 耿 直 潘 琛 (1、上海市地质勘查技术研究院，上海 200335 2、中国矿业大学测绘与空间信息工程研究所，江苏 徐州 221116) 摘 要：决策树是一种以信息论为基础，直观、高效的分类器。概括了决策树分类法的概念，介绍和对比了传统的ID3和c4．5算法，并就算法的 发展趋势进行了归纳。最后，结合遥感图像处理过程分析和总结了决策树分类法的实现过程和应用现状。 关键词：决策树分类；遥感；ID3算法；C4．5算法；应用 前言 Quinlan1970S提出的ID3算法。它建立在6O和 样大大简化了参加分类的自变量的维数。 图像分类总的目的是将图像中每个像元根 70年代的推理系统和概念学习系统的坚实基础之 2．1．2决策树分类法便于地物的几何特征、结 据其在不同波段的光谱亮度、空间结构特征或者 上的，是—个典型的决策树学习系统。而C45是针 构特征和纹理特征等参与图像的分类过程。 其他信息，按照某种规则或算法划分为不同的类 对ID3算法的不足，由Quinlan(1993)在其基础上 2．13决策树分类法可操作性强。可以根据不 另Jl川。然而，由于 “同谱异物”、“同物异谱”现象的存 改进提出的。它是一种归纳学习算法，目前被普遍 同的目的确定和调整各个属性之间的相互关系(层 在，单纯地利用光谱反射特性或图像亮度值提取 采用。 次关系、权重关系等)。 地物，尤其针对两类反射特性相似的地物，势必造 以下从几个方面对两者进行对比： 2．1．4由于决策树分类法对训练区内的统计 成分类的混淆和错误。因此，传统的分类方法往往 12l函数模型 并非基于任何”正态或中心趋势”假设，因而它比传 在地形和地物过于破碎和复杂的情况下，处理复 ID3算法以属陛A为根的信息增益函数为： 统的统计分类法更适合于处理非正态、非同质份 杂的多维时相时难以满足精度的要求 口。20世纪 gain(A)=x(p，n)一E(^) 布不均1的数据集，并对于特定的类别可以产生不 90年代后期，数据挖掘技术的兴起使得决策树作 式中：gain(A)表示以I(p，n)为根的信息增益； 止 1个(多个赂端节点 。 为—个构建决策系统的强有力的技术而重新浮出 表示一棵决策树对—例子作出正确类别判断所需 2．2决策树分类法在遥感中的应用现状 水面目，也给遥感图像分类带来了新的思路和方法。 的信息量；E(A)表示属性A为根所需的期望熵。 决策树分类法在遥感中的应用 目前主要体 决策树分类法具有直观、清晰、计算效率高等特 ID3选择使gain(A)最大(即E(A)最小)的属 现在对遥感信息的提取和分类上。决策树以其直 点，特别在处理多维屙胜时可以通过确定各个属 性A作为根节点。 观、清晰、计算效率高等特点受到遥感专家们的青 性的重要程度，提取一些最有价值的属性，以此作 C45算法提出的信息增益比 (率)函数为： 睐。特别是，它在处理多维属性时，较传统的遥感 为分类判据。 分类方法有了一定的提高，它能利用除光谱特性 GainRdti rA1： 1决策树分类法 splitlnfo(A) 以外的其他属性 咆括相关的环境特性如几何、纹 1．1决策树的概念 式中：GainRation(A)表示信息增益比(率)； 理以及数字地形模