第6章机器学习旧.pptVIP

解释学习 80年代，美国伊利诺伊斯大学； 对单个或少数例子进行深入分析，在将得到的解释“泛化”，使之能覆盖更多的例子； 采用演绎推理，尽量不采用归纳推理； 决策树学习 以实例为基础的归纳学习； 1979年，J.R. Quinlan，ID3算法； 按属性分叉； 根到叶子的每条路径对应一条规则。 个大∧脖短∧鼻长 =〉可能是大象 基于决策树的机器学习 自信息量 信源（X）具备属性ai的不确定性程度I(ai)，用-logp(ai)表示， p(ai)为结点具有该属性的概率； 当 p(ai) = 1时， I(ai) = 0 。 基于决策树的机器学习 信息熵 所有信源的整体不确定性程度H(X)，表示为 Σp(ai)I(ai)； 除非所有信源具有同一属性，否则，H(X) 0 。 条件熵 信源X收到信息Y后的不确定性程度H(X|Y)表示为 - Σ Σ p(ai|bj)log(ai|bj) 决策树的构造 根结点包含所有训练数据，且无分类信息，故熵值最大； 每引入一个属性，分裂出子结点，子结点的熵值比父结点更小； 由于训练集中各例子的类别是确定的，故叶子结点的熵为0。 决策树的构造 (ID3算法) 按熵值下降最快选择属性； 训练集S, S = {s1, s2, s3, …, sT}, T = |S|； 除了有自己的一组属性外，任一个例子还有明确的类别； s = (a1, a2, a3, …, am; μ) 每个实例代表一条规则，即 (x1=a1) ∧ (x2=a2) ∧ (x3=a3) ∧ … ∧ (xm=am) = μ ID3算法的示例 S的熵为-p(μ1)log(p(μ1)) - p(μ2)log(p(μ2)) -p(μ3)log(p(μ3)) = - (4/24)*log(4/24) - (5/24)*log(5/24) - (15/24)*log(15/24) = 1.3261 ID3算法的示例(续) 如果引入属性x1，可得三个子集，S1 = {1,2,3,4,5,6,7,8}，S2 = {9,10,11,12,13,14,15,16}， S1 = {17,18,19,20,21,22,23,24}， H(S1) = - (2/8)*log(2/8) - (2/8)*log(2/8) - (4/8)*log(4/8) = 1.5 H(S2) = - (1/8)*log(1/8) - (2/8)*log(2/8) - (5/8)*log(5/8) = 1.2988 H(S3) = - (1/8)*log(1/8) - (1/8)*log(1/8) - (6/8)*log(6/8) = 1.0613 H(S|x1) = (8/24)*1.5 + (8/24)*1.2988 + (8/24)*1.0613 = 1.2867 ID3算法的示例(续) 同理，可得引入其他属性的条件熵 H(S|x2) = 1.2866; H(S|x3) = 0.9491; H(S|x4) = 0.7773。 选择x4，分裂出2个子结点。 最后的决策树 习题6.12 考虑去卡拉OK厅唱歌，是否要等待包间的决策问题。实例有下列属性描述。 1）Others：附近是否有其他卡厅 2）WaitCond：供等候的地方是否舒适 3）Weekend：今天是否是周末 4）Consumers：这里现在有多少顾客 5）Price：价格怎样 6）Raining：现在是否在下雨 7）Reservation：是否预约过 8）WaitEstimate：估计需要多长时间等候 训练集 引入Others S分为两个子集，SYES和SNO。 ∴ H(S|Others) = 6/12 × 1 + 6/12 × 1 = 1 引入WCond S也分为两个子集，SYES和SNO。 H(S|WCond) = 6/12 × 1 + 6/12 × 1 = 1 引入WEnd S也分为两个子集，SYES和SNO。 H(S|WEnd) = 5/12 × 0.9710 + 7/12 × 0.9852 = 0.9793 引入Cons S分为三个子集，SNONE、SSOME和SFULL 。 H(S|Cons) = 2/12 × 0 + 4/12 × 0 + 6/12 × 0.9183 = 0.4591 引入Price S分为三个子集，SEX、SCH和SMID 。 H(S|Price) = 3/12 × 0.9183 + 7/12 × 0.9852 + 0 = 0.8043 引入Rain S分为两个子集， SYES和SNO 。 H(S|Rain) = 5/12 × 0.9710 + 7/12 × 0.9852 = 0.9793