第四章 示例学习的实用化 机器学习 教学课件.pptVIP

* 第四章 示例学习的实用化 4.1 定量属性的定性化 等宽离散法 L 2. 决策树连续属性值处理(二分离散法) 1) 切点法: T 类熵(class entropy) 类信息熵(class information entropy) S1: 切点T左边的例子集 S2:切点T右边的例子集. |s| 集合s中的例子数 N=|s| 2) 界点法: T1 T2 T3 T4 T5 3)多切点法: er er+1 Tr Tr+1 Emin是目前为止得到的最小信息熵,如果 E(Tr)-max_diff(Tr)? Emin, 则E(Tr+1) ? Emin Max_diff(Tr)随着r的增加单调递减. 启发式1: 设Emin是迄今为止得到的最小信息熵,则从Tr开始下一个需要计算熵的切点是Tr+? ?与Emin有关,因此,被忽略的结点数与属性被处理的顺序有关,如果最相关的属性被首先处理,Emin就会被早些得到,因此,以后计算中?值就会较大,所以省略的结点数就多,为减少算法的运行时间,最相关的属性应首先被处理. Max_diff(Tr)是单调递减的,所以连续属性排序后,属性值域的后半部分?值较高. 通常,如果相关属性先被处理,对不相关属性使用启发式1,将是较有效的. 启发式2. 对于每个属性Ai,Tmi是其一个切点,把例子集分成两个例子数相等的子集, E(Tmi)是Tmi的熵,对各属性按E(Tmi)从小到大的顺序使用启发式1进行离散化. 3.多区间划分 停止标准(最小描述长度) K1,k2分别是T左右两边例子的类别数 4. Bayes离散法 设有两类W1和W2 状态先验概率P(wi),条件概率p(x|Wi) i=1,2 P(Gj)=|Gj|/|?sGs| P(x|Gj)=(k/mj)/A(k,x) mj=|Gj|, k= A(k,x)以x为中心,恰好包含了k个例子的区间长度. 算法 1）对I=1,2,….,n;求Gi类例子的个数 2) 所有例子的个数|UsGs| 3) 对I=1,2,…,n;求P(Gi)=|Gi|/|UsGs| 4) 从区间左端开始，按某步长step向右走，对于每一点x计算A(k,x),具体办法是：以x为中心点，以step为步长向两端扩展，直到包含k个例子为止，然后计算该点的P(x|Gj)=(k/mj)/A(k,x)，如果有两个值Xs、Xs+1(Xs+1=Xs+step)， 使得P(Xs|Gi1)P(Gi1)=max{P(Xs|Gj)P(Gj)}, P(Xs+1|Gi2)P(Gi2)=max{P(Xs+1|Gj)P(Gj)}, j=1,2,…,n, i1≠i2,则Xs+1 为切分点 背景 知识 库 数据 库 知识 库 数据库 接口模块 连续属性 离散化模块 规则抽 取模块 检测 模块 背景知识 编辑模块 总控模块 显示 模块 类型 未知 的例 子 例子类别 *