人工智能5机器学习.pptVIP

5.3 常见的几种学习方法 5.3.6 基于决策树的归纳学习 Male? grade grade class1 class2 class3 class2 yes no ≥60 ≥60 60 60 5.3 常见的几种学习方法 5.3.6 基于决策树的归纳学习 如何构造一颗具有较高分类准确率的决策树？ 关键：如何确定当前要以哪个属性作为测试属性？ 1948 年Shannon 提出并发展了信息论，研究以数学的方法度量并研究信息。通过通信后对信源中各种符号出现的不确定程度的消除来度量信息量的大小。 （1）自信息量 设系统S中有多个可能发生的事件：a1,a2,…an， 事件ai发生的概率为p(ai), i=1,2,…,n，p(ai) ∈[0,1] p(ai)越大，事件ai不确定程度越低，反之，则越高。 5.3 常见的几种学习方法 5.3.6 基于决策树的归纳学习 用-log p(ai)表示事件ai的不确定程度，称为ai的自信息量I(ai) I(ai)=- -log p(ai) //log以2为底 （2）信息熵（entropy） 如果将S看作一个信源， a1,a2,…an看成信源S发出的n种类型的信息，则信源S的不