2.决策树算法讲解.pptVIP

机器学习决策树算法

决策树思想理论01

决策树思想理论01问题：根据该数据集，判断张先生能否偿还债务？张先生的特征是：（无房、已婚、年收入10万）

决策树思想理论02决策树是以实例为基础的归纳学习算法它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，叶结点是要学习划分的类。从根到叶结点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规则。决策树能帮人或机器做出决策,实际的运用中包括，推荐系统、CRM系统等决策树优点：计算量小、显示清晰缺点：容易过拟合（需要修枝），对时间顺序的数据，需要很多预处理的工作等

决策树思想理论03信息熵1948年，香农引入了信息熵，将其定义为离散随机事件出现的概率，一个系统越是信息量低，信息熵就越低，反之一个系统越是信息量高，它的信息熵就越高。所以信息熵可以被认为是系统有序化程度的一个度量。信息熵就是用来描述信息源（量）的不确定度。图片来源于网络

决策树思想理论04熵的计算假如一个随机变量的取值为每一种取到的概率分别是那么的熵定义为:意思是一个变量的变化情况可能越多，那么它携带的信息量就越大。

决策树思想理论05信息增益在划分数据集之前之后信息发生的变化称为信息增益，信息增益最高的特征就是最好的选择.信息增益是针对某一个特征而言的，系统本身的信息量（系统熵）减去该特征在系统中所对应的信息量（条件熵），两者的差值就是这个特征给系统带来的信息量，即信息增益。

决策树思想理论06下面是描述天气数据表，预测的目标是play或者notplay。（如下表）

决策树思想理论071.根据上图计算play对应的熵：（Entropy(S)）一共是14条记录，你能数出取值为yes的记录有9个，取值为no的有5个，我们说这个样本里有9个正例，5个负例，记为S(9+,5-)，S是样本的意思(Sample)。这里熵记为Entropy(S),计算公式为：Entropy(S)=-(9/14)*log(9/14)-(5/14)*log(5/14),但是必须以2为底，所以在excel中可以：-(9/14)*LOG(9/14,2)-(5/14)*LOG(5/14,2)就算出的熵为:0.94

决策树思想理论08分别以Wind、Humidity、Outlook和Temperature作为根节点，计算其信息增益1.计算Wind的熵可以数得，属性Wind中取值为false的记录的记录有8条，其中正例6个，负例2个；同样，取值为true的记录6个，正例负例各3个。我们可以计算相应的熵为：Entropy(F)=-(6/8)*log(6/8)-(2/8)*log(2/8)=0.811Entropy(T)=-(3/6)*log(3/6)-(3/6)*log(3/6)=1.0现在就可以计算出相应的信息增益了：Gain(Wind)=Entropy(S)-(8/14)*Entropy(F)-(6/14)*Entropy(T)=0.940-(8/14)*0.811-(6/14)*1.0=0.0488/14是属性Wind取值为False的个数占总记录的比例，同样6/14是其取值为True的记录个数与总记录数之比。

决策树思想理论092.以Humidity作为根节点：Entropy(High)=0.985;Entropy(Normal)=0.592Gain(Humidity)=0.940-(7/14)*Entropy(High)-(7/14)*Entropy(Normal)=0.151三:Outlook作为根节点：Entropy(Sunny)=0.971;Entropy(Overcast)=0.0;Entropy(Rain)=0.971Gain(Outlook)=0.940-(5/14)*Entropy(Sunny)-(4/14)*Entropy(Overcast)-(5/14)*Entropy(Rain)=0.2473.Temperature作为根节点：Entropy(Cool)=0.811;Entropy(Hot)=1.0;Entropy(Mild)=0.918G