合集人工智能之决策树.pptxVIP

决策树.精品课件.目录.精品课件.决策树基本概念信息论基础应用实例及ID3算法决策树总结一些思考生活中的决策树1(Decision Tree).精品课件.决策树基本概念定义.精品课件.决策树基本概念A decision tree is a flowchart-like structure in which each internal node represents a test on an attribute (e.g. whether a coin flip comes up heads or tails), each branch represents the outcome of the test, and each leaf node represents a class label (decision taken after computing all attributes). The paths from root to leaf represent classification rules. 决策树是一种类似于流程图的结构，其中每个内部节点代表一个属性上的“测试”（例如，一个硬币的翻转是正面还是反面），每个分支代表测试的结果，每个叶节点代表一个类标签（在计算所有属性之后做出的决定）。从根到叶子的路径表示分类规则。生活中的决策树2(Decision Tree)构建决策树的关键问题：1. 以何种属性进行测试2. 以何种顺序进行测试3. 何时做出决定属性测试属性测试分支决定决定.精品课件.决策树基本概念机器学习中的决策树（1/2）.精品课件.决策树基本概念连接主义者认为，机器学习分为监督学习，无监督学习和强化学习。监督学习就是训练样本带有属性标签。监督学习又可分为“回归”和“分类”问题。机器学习中的分类技术一般是用一种学习算法确定分类模型，该模型可以很好地拟合类标号和属性集之间的映射关系。常用的分类算法包括：决策树分类法、逻辑回归分类法、神经网络、支持向量级、朴素贝叶斯分类方法等。机器学习中的决策树（2/2）.精品课件.决策树基本概念在机器学习中，决策树是一个带有标签的监督式学习预测模型，代表的是对象属性与对象值之间的一种映射关系。算法ID3，C4.5和C5.0是基于信息学理论中熵的理论而设计的。相比大多数分类算法，如 kNN 等，决策树易于理解和实现，使用者无需了解很多背景知识。它能够对数据集合进行分析，挖掘其中蕴含的知识信息。决策树算法发展历史(1/2).精品课件.决策树基本概念决策树算法采用自上至下递归建树的技术，该算法的产生源于CLS系统，即概念学习系统。决策树算法发展历史(2/2).精品课件.决策树基本概念1980年，戈登V.卡斯创建CHAID（卡方自动交叉检验）1979年，J.R. Quinlan 给出ID3算法，在1983年和1986年进行总结和简化1986年，Schlimmer 和Fisher 于对ID3进行改造，使决策树可以递增式生成，得到ID4算法。1988年，Utgoff 在ID4基础上提出了ID5学习算法1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例决策树重要概念.精品课件.决策树基本概念信息量2.信息论基础.精品课件.信息的大小可以度量么？信息量的大小与概率有关！概率越小，信息量越大。出现概率为0，信息量无穷大概率越大，信息量越小。出现概率为1，信息量为0.信息论1948年10月，香农在《贝尔系统技术学报》上发表论文《A Mathematical Theory of Communication》，首次建立通讯过程的数学模型，成为现代信息论研究的开端。香农理论的重要特征是熵（entropy）的概念，他证明熵与信息内容的不确定程度有等价关系。2.信息论基础.精品课件.信息量消息发生后所含有的信息量，反映了消息 发生前的不确定性：譬如袋子里有红球和黑球，取红球的概率为0.4，取黑球的概率为0.6。取出红球的信息量为1.322，取出黑球的信息量0.737。2.信息论基础.精品课件.信息熵熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。表示系统的不确定性。公式：譬如袋子里有红球和黑球，取红球的概率为0.4，取黑球的概率为0.6。取出红球的信息量为1.322，取出黑球的信息量0.737。取出1个球的加权平均信息量为1.322*0.4+0.737*0.6。思考：什么情况下，熵