7 信息论方法-58.pptVIP

P(V|U)表示信道的转移或传输概率，表示为如下矩阵 练习题 参照书书140页表7.1计算下列每个条件属性与决策之间的互信息。 2.IBLE方法分类的基本思想： 对某一实体进行类别判断，首先从分析该实体的特征入手，用规则分析会得出三种结论：属于u1类，或者属于u2类，或者无法判定。对于无法判定的情况继续重复上述过程直到具体类别为止。 4、决策规则树结点 设问题空间中例子有10个特征，每个特征取值{0,1}，规则是由重要特征组成的，如下表 S/F 1 2 3 4 5 6 7 8 9 10 d 1 1 0 0 0 1 0 0 1 1 1 u1 2 0 1 0 0 1 0 0 0 1 0 u2 … … … … … … … … … … … … n 0 1 0 0 1 0 1 0 1 1 u1 特征 1 3 4 6 7 权值 100 90 105 50 40 标准值(正) 1 0 1 1 0 阈值 220， 100 通过求各个特征的权值删除不重要的特征，得如下规则： S/F 1 2 3 4 5 6 7 8 9 10 d 1 1 0 0 0 1 0 0 1 1 1 2 0 1 0 0 1 0 0 0 1 0 3 0 1 0 0 1 0 1 0 1 1 4 1 0 0 1 0 1 1 0 0 0 请根据上述规则判断下列样本属于哪一类 特征 1 3 4 6 7 权值 100 90 105 50 40 标准值（正） 1 0 1 1 0 阈值 220， 100 u1 u2 u1 —— 本章小结 1 理解并掌握信息论原理中的基本概念：先验概率，后验概率；理解并掌握信道模型与分类数据的对应关系； 2 重点掌握信息熵，后验熵，条件熵，互信息的含义与计算方法； 3 理解并掌握最大后验概率准则； 4 给定一个数据集，会用ID3方法建立决策树。（作业1） 5 理解信息增益率的概念，理解决策树剪枝的含义； 6 理解IBLE的基本思想，会利用决策规则树的规则判断新样本的类别。（作业2） 作业1：使用下列数据集建立决策树，计算的步骤晴详细列出来，并标记叶子节点的样本。 序号 TQ QW SD F d 1 晴 热 高 无风 N 2 晴 热 高 有风 N 3 多云 热 高 无风 P 4 雨 适中 高 无风 P 5 雨 冷 正常 无风 P 6 雨 冷 正常 有风 N 7 多云 冷 正常 有风 P 8 晴 适中 高 无风 N 9 晴 冷 正常 无风 P 10 雨 适中 正常 无风 P S/F 1 2 3 4 5 6 7 8 9 10 d 1 1 0 0 0 1 0 0 1 1 1 2 0 1 0 0 1 0 0 0 1 0 3 0 1 0 0 1 0 1 0 1 1 4 0 0 0 1 0 1 1 0 0 0 请根据上述规则计算每个样本的权和，并判断下列样本属于哪一类。（正类用u1表示，负类用u2表示，无法判断用‘—’表示） 特征 1 3 4 6 7 权值 80 90 100 60 50 标准值（正） 1 1 0 0 1 阈值 200， 100 作业2 四、信道容量与译码准则 I(U,V)=H(U)-H(U|V) =H(U)+H(V)-H(UV) 2 译码准则 译码：根据输出判定输入的过程. u1 u2 v1 v2 P11 P12 P22 P21 u1 u2 v1 v2 P11 P12 P22 P21 最大后验概率准则（最小错误概率准则） 请根据最大后验概率准则判断下列样本的类别。 (a)气温适中——1 (b)气温热——无法判定 (c)气温冷——1 (d)气温热且无风——1 (e)气温适中且有风——1 序号 气温 风 类别 1 热 无风 2 2 热 有风 2 3 热 无风 1 4 适中 无风 1 5 冷 无风 1 6 冷 有风 2 7 冷 有风 1 8 适中 无风 2 9 冷 无风 1 10 适中 无风 1 11 适中 有风 1 12 适中 有风 1 13 热 无风 1 7.2 决策树方法 1. 决策树是用样本的属性作为节点，属性的取值作为分支的树结构。它是一种知识表示形式，它是对所有样本数据的高度概括，且能有效地识别新样本的类别。 2. 决策树概念最早出现在概念系统中（CLS），典型的决策树方法如ID3方法、C4.5方法、模糊ID3等。 一、 决策树概念 1. 首先使用信息增益选出具有判断力的属性，把数据分成多个子集； 2. 针对每个子集又使用信息增益选择出具有判断力的属性进行划分； 3. 重复上述过程，直到所有子集仅仅包含同一类型的数据为止。 4. 最后得到一棵决策树，用它来对新样本分类。 二、 ID3方法基本思想 举例 设实体是某天早晨，分类任务是关于气候的类型，属性为 1 天气（晴，多云，雨） 2 气温（冷，适中，热）