商务大数据分析导论课件：大数据分析算法.pptx

商务大数据分析

大数据分析算法

大数据分析算法任务一决策 1.信息、熵及信息增益的概念 1.1信息及其度量 1.2信息熵 1.3条件熵、信息增益及信息增益比 2.决策树的构建 2.1ID3算法 2.2C4.5算法 2.3ID3、C4.5、CART的区别算法 3.算法用例

1.信息、熵及信息增益的概念1.1信息及其度量克劳德·艾尔伍德·香农，美国数学家、电子工程师和密码学家，被誉为信息论的创始人。他发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。香农对信息的描述是“信息是用来消除随机不确定性的东西”。信息是消息中包含的有效内容，那么如何度量离散消息中所含的信息量？其度量的基本原则有三点，一是能度量任何消息，并与消息的种类无关；二是度量方法应该与消息的重要程度无关；三是消息中所含信息量和消息内容的不确定性有关。1.2信息熵当熵中的概率由数据估计（特别是最大似然估计）得到时，所对应的熵称为经验熵（empiricalentropy）。所谓数据估计，是指通过训练数据计算得出的分类概率值，比如有10个数据，一共有两个类别，A类和B类。其中有7个数据属于A类，则该A类的概率即为十分之七。其中有3个数据属于B类，则该B类的概率即为十分之三。浅显的解释就是，这概率是我们根据已有的数据数出来的。

1.3条件熵、信息增益及信息增益比1.信息、熵及信息增益的概念

2.决策树的构建2.1ID3算法ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。具体方法是：第一步。从根结点（rootnode）开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征。第二步。由该特征的不同取值建立子节点，再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止；第三步。最后得到一个决策树。

2.决策树的构建2.2C4.5算法与ID3算法相似，但是做了改进，将信息增益率作为选择特征的标准。信息增益率=信息增益/属性熵。用公式表示为：特征变量特征取值信息量条件信息熵信息增益属性熵信息增益率outlooksunny0.9709510.6935360.246749821.57740.1564overcast0rainy0.970951temperaturehot10.9110630.0292225661.55670.0188mild0.918296cool0.811278humidityhigh0.9852280.7884501518normal0.591673windyFALSE0.8112780.8921590.048127030.98520.0489TRUE1节点特征取值特征特征取值信息量条件信息熵信息增益属性熵信息增益率Rainytemperaturemild0.9182960.9509780.0199730.9709510.020571cool1humidityhigh10.9509780.0199730.9709510.020571normal0.918296windyFALSE000.9709510.9709511TRUE0Sunnytemperaturehot00.40.5709511.5219280.37515mild1cool0humidityhigh000.9709510.9709511normal0windyFALSE0.9182960.9509780.0199730.9709510.020571TRUE1

2.决策树的构建2.3ID3、C4.5、CART的区别算法对于这三个非常著名的决策树算法，简单地区别是：ID3使用信息增益作为选择特征的准则；C4.5使用信息增益率作为选择特征的准则；CART使用基尼系数作为选择特征的准则。ID3：熵表示的是数据中包含的信息量大小。熵越小，数据的纯度越高，也就是说数据越趋于一致，这是我们希望的划分之后每个子节点的样子。C4.5：克服了ID3仅仅能够处理离散属性的问题，以及信息增益偏向选择取值较多特征的问题，使用信息增益率来选择特征。信息增益率=信息增益/属性熵，选择信息增益率最大的作为最优特征。C4.5处理连续特征是先将特征取值排序，以连续两个值中间值作为划分标准。尝试每一种划分，并计算修正后的信息增益，选择信息增益最大的分裂点作为该属性的分裂点。CART：与ID3、C4.5不同之处在于CART生成的树必须是二叉树。也就是说，无论是回归还是分类问题，无论特征是离散的还是连续的，无论属性取值有多个还是两个，内部节点只能根据