第7章 分类与预测 数据挖掘：概念与技术 知识 1.ppt

例如，假设训练样本s的描述属性值与类别属性值分别为{1, 0, 1}与1，前馈神经网络NT如下图所示，NT中每条有向加权边的权值、每个隐藏层与输出层单元的偏置如表7.3所示，学习率为0.9。写出输入s训练NT的过程。 一个前馈神经网络NT NT中边的权值、单元的偏置 x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 1 0 1 0.2 －0.3 0.4 0.1 －0.5 0.2 －0.3 －0.2 －0.4 0.2 0.1 wij和θj是随机产生的，l＝0.9 隐藏层与输出层中单元的输入、输出 单元j 输入netj 输出Oj 4 0.2*1+0.4*0+(－0.5)*1+(－0.4)=－0.7 1/(1+e－(－0.7))=0.332 5 (－0.3)*1+0.1*0+(0.2)*1+0.2=0.1 1/(1+e－0..1)=0.525 6 (－0.3) *0.332+(－0.2)*0.525+0.1=－0.105 1/(1+e－(－0.105))=0.474 隐藏层与输出层中单元的Err 单元j Errj 6 0.474*(1－0.474)*(1－0.474)=0.1311 5 0.525*(1－0.525)*(0.1311*(－0.2))=－0.0065 4 0.332*(1－0.332)*(0.1311*(－0.3))=－0.0087 Errk=Ok(1- Ok)( Tk - Ok) NT中边的新权重、单元的新偏置 w46 －0.3+0.9*0.1311*0.332=－0.261 w56 －0.2+0.9*0.1311*0.525=－0.138 w14 0.2+0.9*(－0.0087)*1=0.192 w15 －0.3+0.9*(－0.0065)*1=－0.306 w24 0.4+0.9*(－0.0087)*0=0.4 w25 0.1+0.9*(－0.0065)*0=0.1 w34 －0.5+0.9*(－0.0087)*1=－0.508 w35 0.2+0.9*(－0.0065)*1=－0.194 θ6 0.1+0.9*0.1311=0.218 θ5 0.2+0.9*(－0.0065)=0.194 θ4 －0.4+0.9*(－0.0087)=－0.408 wij= wij+l·ErrjOi θj=θj+l·Errj 这里只有一个训练样本，只示例了学习过程中的一次迭代过程。在实际应用中，训练样本多，迭代次数多，这样得到的结果好。 激活函数的选取很重要： 收敛 收敛速度 7.3.3 神经网络分类 学习结束后，神经网络得到一组固定的权值及偏置。新样本到来后，将其描述属性值送入输入层各单元，从输入层到输出层正向传播，计算输出层各单元的值{O1, O2, …, On}，令r=max(O1, O2, …, On)，则第r个输出层单元所代表的类别就是该样本所属的类别。 例如，在上例中，只有一个输出层单元，表示只有两个类别（A类、B类）。神经网络学习结束后，表7.6中的各权值和偏置都固定。将一个新样本X=（x1, x2, x3）送入输入层后可以计算出O6，若O6≈1，则表示X应属于A类；若O6≈0，则表示X应属于B类；若O6≈0.5，则拒绝分类。 7.4 贝叶斯分类  1. 贝叶斯公式 式中，p(x)、p(y)为随机变量X=x、Y=y的概率；p(x|y)为已知Y=y时，X=x的条件概率；p(y|x)为已知X=x时，Y=y的条件概率。 7.4.1 贝叶斯分类概述 根据贝叶斯公式，可以得到贝叶斯分类公式： 式中，p(a1, …, am)为m个描述属性A1=a1, …, Am=am的联合概率；p(c)为类别属性C=c的概率，也称为类别c的先验概率；p(a1, …, am|c)为已知C=c时，A1=a1, …, Am=am的条件概率，也称为类条件概率；p(c|a1, …, am)为已知A1=a1, …, Am=am时，C=c的条件概率，也称为类别c的后验概率。 贝叶斯分类的分类阶段就是给定新样本的描述属性值a1,…,am，根据上述公式，计算各个类别的后验概率，后验概率最大的类别就是新样本的类别属性值，即新样本的类别为： 综合上述两式，得到新样本的类别为： 贝叶斯分类的学习阶段就是根据训练样本，计算各个类别的先验概率、各个类条件概率。 例如，训练样本如下表： 年龄 收入 学生 信誉 购买计算机 ≤30 高 否 中 是 ≤30 高 否 优 否 31..40 高 否 中 是 ≥41 中 否 中 是 ≥41 低 是 中 是 ≥41 低 是