决策树学习讲义.pptxVIP

第1.2节 决策树学习(Decision Tree)内容决策树方法的原理决策树中的过拟合问题决策树的其他问题属性的其他度量决策树学习——决定是否打网球看看天气阳光明媚下雨阴天看看湿度看看风速去打球高正常大小不去打球去打球不去打球去打球节点：每一个节点测试一个属性,分支：属性的可选数值,叶子节点：最终预测决策树学习原理简介—(ID3, C4.5算法)node = root 循环{ 1. 为当下一个节点选择一个最好的属性 x 2. 将属性x分配给节点node 3. 对于x的所有可能数值，创建一个降序排列的节点node 4. 将所有训练样本在叶子节点排序分类 5. 如果分类结果达到了错误率要求，跳出循环，否则， 在叶子节点开始新循环-〉递归}决策树表示法决策树通过把实例从根节点排列到某个叶子节点来分类实例。叶子节点即为实例所属的分类树上每个节点说明了对实例的某个属性的测试节点的每个后继分支对应于该属性的一个可能值决策树代表实例属性值约束的合取的析取式。从树叶到树根的每一条路径对应一组属性测试的合取，树本身对应这些合取的析取。决策树学习的适用问题适用问题的特征实例由“属性-值”对表示目标函数具有离散的输出值可能需要析取的描述训练数据可以包含错误训练数据可以包含缺少属性值的实例问题举例根据天气好坏确定是否去打球根据疾病分类患者根据起因分类设备故障根据拖欠支付的可能性分类贷款申请分类问题核心任务是把样例分类到各可能的离散值对应的类别基本的决策树学习算法大多数决策树学习算法是一种核心算法的变体采用自顶向下的贪婪搜索遍历可能的决策树空间ID3是这种算法的代表基本的决策树学习算法ID3的思想自顶向下构造决策树从“哪一个属性将在树的根节点被测试”开始使用统计测试来确定每一个实例属性单独分类训练样例的能力ID3的过程分类能力最好的属性被选作树的根节点根节点的每个可能值产生一个分支训练样例排列到适当的分支重复上面的过程决策树学习原理简介—(ID3, C4.5算法)表-1：是否去打球的数据统计—训练数据编号天气温度湿度风是否去打球1晴天炎热高弱不去2晴天炎热高强不去3阴天炎热高弱去4下雨适中高弱去5下雨寒冷正常弱去6下雨寒冷正常强不去7阴天寒冷正常强去8晴天适中高弱不去9晴天寒冷正常弱去10下雨适中正常弱去11晴天适中正常强去12阴天适中高强去13阴天炎热正常弱去14下雨适中高强不去决策树学习原理简介—(ID3, C4.5算法)S: (9+, 5-)S: (9+, 5-)湿度风高正常 弱强(3+, 4-)(6+, 1-)(6+, 2-)(3+, 3-)问题：哪一个属性（特征）更好？决策树学习原理简介—(ID3, C4.5算法)熵:物理学概念??宏观上：热力学定律—体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度（克劳修斯，1865）??微观上：熵是大量微观粒子的位置和速度的分布概率的函数，是描述系统中大量微观粒子的无序性的宏观参数（波尔兹曼，1872）??结论：熵是描述事物无序性的参数，熵越大则无序性越强,在信息领域定义为“熵越大，不确定性越大”（香浓，1948年）决策树学习原理简介—(ID3, C4.5算法)随机变量的熵 熵 比较多的用于信源编码，数据压缩，假设是最有效的编码方式是使用 位编码于是对于随即变量的最有效编码位之和：决策树学习原理简介—(ID3, C4.5算法)表示训练集合中的样本表示训练集合中反例样本的比例表示训练集合中正例样本的比例表示训练集合的熵决策树学习原理简介—(ID3, C4.5算法)信息增益：information gain??信息的增加意味着不确定性的减少，也就是熵的减小，信息增益在诸多系统中定义为：在某一个操作之前的系统熵与操作之后的系统熵的差值，也即是不确定性的减小量信息增益(Information Gain)原来的不确定性知道x之后的不确定性信息增益: 原来-知道x之后的原来不确定性-经过属性x划分以后的不确定性信息增益(Information Gain)选择属性的标准：选择具有最高信息增益(Information Gain)的属性假设有两个类, + 和 -假设集合S中含有p个类别为+的样本,n个类别为-的样本将S中已知样本进行分类所需要的期望信息定义为:信息增益在决策树中的使用假设属性x将把集合S划分成 K份 {S1, S2 , …, SK} 如果 Si 中包含 pi 个类别为 “+”的样本, ni 个类别为 “-”,的样本。那么熵就是 (entropy),在x上进行决策分枝所获得的信息增益为:决策树学习原理简介—(ID3, C4.5算法)*决策树学习原理简介—(ID3, C4.5算法)问题：哪一个属性（特征）更好？分析极端的情况S: (8+, 8-)S: (8+, 8-)E=1.0E=1.0温度心