第7章 分类与预测1 数据挖掘：概念与技术 知识 .ppt

（2.1.1）for 隐藏层与输出层中每个单元j //从第一个隐藏层开始向前传播输入 （2.1.2）for 输出层中每个单元k Errk=Ok(1- Ok)( Tk - Ok) （2.1.3）for 隐藏层中每个单元j //从最后一个隐藏层开始向后传播误差 （2.1.4）for NT中每条有向加权边的权值wij wij= wij+l·ErrjOi （2.1.5）for 隐藏层与输出层中每个单元的偏置θj θj=θj+l·Errj 误差后向传播算法要求输入层单元的输入是连续值，并对连续值进行规格化以便提高训练的效率与质量。如果训练样本的描述属性是离散属性，则需要对其编码，编码方法有两种： 1）p值离散属性：可以采用p位编码。假设p值离散属性的可能取值为a1, a2,…,ap，当某训练样本的该属性值为a1时，则编码为1,0,…,0；当某训练样本的该属性值为a2时，则编码为0,1,…,0；依次类推。 2）二值离散属性：除采用2位编码外还可以采用1位编码。当编码为1时表示一个属性值；当编码为0时表示另一个属性值。 例7.6 假设训练样本s的描述属性值与类别属性值分别为{1, 0, 1}与1，前馈神经网络NT如图7.8所示，NT中每条有向加权边的权值、每个隐藏层与输出层单元的偏置如表7.3所示，学习率为0.9。写出输入s训练NT的过程。 图7.8 前馈神经网络NT 表7.3 NT中边的权值、单元的偏置 x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 1 0 1 0.2 －0.3 0.4 0.1 －0.5 0.2 －0.3 －0.2 －0.4 0.2 0.1 wij和θj是随机产生的，l＝0.9 表7.4 隐藏层与输出层中单元的输入、输出 单元j 输入netj 输出Oj 4 0.2*1+0.4*0+(－0.5)*1+(－0.4)=－0.7 1/(1+e－(－0.7))=0.332 5 (－0.3)*1+0.1*0+(0.2)*1+0.2=0.1 1/(1+e－0..1)=0.525 6 (－0.3) *0.332+(－0.2)*0.525+0.1=－0.105 1/(1+e－(－0.105))=0.474 表7.5 隐藏层与输出层中单元的Err 单元j Errj 6 0.474*(1－0.474)*(1－0.474)=0.1311 5 0.525*(1－0.525)*(0.1311*(－0.2))=－0.0065 4 0.332*(1－0.332)*(0.1311*(－0.3))=－0.0087 Errk=Ok(1- Ok)( Tk - Ok) 表7.6 NT中边的新权重、单元的新偏置 w46 －0.3+0.9*0.1311*0.332=－0.261 w56 －0.2+0.9*0.1311*0.525=－0.138 w14 0.2+0.9*(－0.0087)*1=0.192 w15 －0.3+0.9*(－0.0065)*1=－0.306 w24 0.4+0.9*(－0.0087)*0=0.4 w25 0.1+0.9*(－0.0065)*0=0.1 w34 －0.5+0.9*(－0.0087)*1=－0.508 w35 0.2+0.9*(－0.0065)*1=－0.194 θ6 0.1+0.9*0.1311=0.218 θ5 0.2+0.9*(－0.0065)=0.194 θ4 －0.4+0.9*(－0.0087)=－0.408 wij= wij+l·ErrjOi θj=θj+l·Errj 7.3.3 神经网络分类 学习结束后，神经网络得到一组固定的权值及偏置。新样本到来后，将其描述属性值送入输入层各单元，从输入层到输出层正向传播，计算输出层各单元的值{O1, O2, …, On}，令r=max(O1, O2, …, On)，则第r个输出层单元所代表的类别就是该样本所属的类别。 例如，在例7.6中，只有一个输出层单元，表示只有两个类别（A类、B类）。神经网络学习结束后，表7.6中的各权值和偏置都固定。将一个新样本X=（x1, x2, x3）送入输入层后可以计算出O6，若O6≈1，则表示X应属于A类；若O6≈0，则表示X应属于B类；若O6≈0.5，则拒绝分类。 7.4 贝叶斯分类  1. 贝叶斯公式 式中，p(x)、p(y)为随机变量X=x、Y=y的概率；p(x|y)为