决策树的原理.pdfVIP

决策树的原理

决策树（DecisionTree）是一种基于规则分析的数据挖掘技术，

它可以将复杂多变的数据模型转换成易于理解和操作的决策树数据

模型，并可以根据客观准则进行分类与预测。其具有实用性强、易于

理解、能够可视化、运行快等优点，在统计学和机器学习领域均有广

泛的应用。

一、决策树的概念

决策树，又称为决策结构，它是一种特定的规则分析和数据挖掘

技术，旨在通过基于计算机算法构建出一个树状结构来帮助决策者分

析和做出正确的决策。决策树分析技术，是一种综合反映某些事物与

其未来状况之间原则关系的技术。简单地说，就是用树状结构来表示

一系列决策，每个节点代表一个决策，从根节点开始，依据客观的准

则，不断地延伸出子节点，直到树的深度结束。

二、决策树的结构

决策树主要由根，叶子，中间节点组成。根节点表示决策树的开

始，即从根节点开始，依据客观准则，不断延伸出子节点，直到树的

深度结束；叶子节点表示决策过程结束，它是最终的结果，是分支的

终点；中间节点是决策的转折点，也就是有多少个判定条件，有多少

个决策节点。

三、决策树的算法

1.基尼不纯度

基尼不纯度（Giniimprity）是用来评价决策树的一个指标，

-1-

它的计算公式是：Gini(D)=1-Sm{Pi^2}，其中D为根节点表示

的子集，P为每一类在该集中的概率。基尼不纯度越大，说明由当前

节点划分出来的子集更不容易正确分类；反之，基尼不纯度越小，说

明由当前节点划分出来的子集更容易正确分类。

2.信息增益

信息增益（informationgain），是用来评价决策树分类属性的

一个指标，它的计算公式是：Gain(A,D)=Info_D-Sm{(|Ci|/|D|)

*Info_Ci}，其中A为根节点表示的属性，D为该节点表示的子集，

Ci为A的每一值子集，|Ci|、|D|分别表示Ci和D的大小。信息增

益越大，说明由当前节点划分出来的子集更容易正确分类。

四、决策树的应用

决策树可以用于诊断。通过根据节点条件来判断病人的病情，可

以准确判断被诊断者的病情，大大提高了计算效率；此外，使用决策

树还可以进行网上购物等，购买物品前先通过决策树，系统根据客户

的具体需求，自动选择和推荐适合的商品，提高购物效率。另外，决

策树还可以应用于营销系统，依据客户的消费行为，进行分析和预测，

关联分析客户的行为规律及喜好，对不同客户实施差异化营销策略，

提高销售绩效。

五、决策树的优势

1.实用性强：决策树具有很强的实用性，可以用于多种领域，如

营销，诊断，预测等。它也能够处理复杂的数据结构，比如缺失值、

不完整的观测数据、不相关的观测数据等。

-2-

2.易于理解：决策树具有可视化的优点，可以通过图形明确地看

出个分支的内容及结果，易于理解。

3.运行快：构建决策树速度快，在进行预测时，只需要遍历决策

树的节点，迅速定位到最终结果，大大减少了运算时间。

综上所述，决策树具有实用性强、易于理解、能够可视化、运行

快等优点，受到人们的欢迎与广泛应用。

-3-