第9章机器学习与知识发现.ppt

　　例如, 设对象的知识是用框架集来表示, 则类比学习可描述为把原框架中若干个槽的值传递给另一个目标框架的一些槽中, 这种传递分两步进行:  (1) 利用原框架产生若干个候选的槽, 这些槽值准备传递到目标框架中。 　 (2) 利用目标框架中现有的信息来筛选第一步提出来的某些相似性。 9.3 神经网络学习 9.3.1　生物神经元 这里的神经元指神经细胞, 它是生物神经系统的最基本的单元, 其基本结构如图9-14 所示。可以看出,神经元由细胞体、 树突和轴突组成。细胞体是神经元的主体, 它由细胞核、细胞质和细胞膜三部分构成。从细胞体向外延伸出许多突起, 其中大部分突起呈树状, 称为树突。树突起感受作用, 接受来自其他神经元的传递信号；另外, 由细胞体伸出的一条最长的突起, 用来传出细胞体产生的输出信号, 称之为轴突；轴突末端形成许多细的分枝, 叫做神经末梢；每一条神经末梢可以与其他神经元形成功能性接触, 该接触部位称为突触。所谓功能性接触是指并非永久性接触, 它是神经元之间信息传递的奥秘之处。 图 9-14 生物神经元的基本结构 9.3.2　人工神经元 　　如果我们对生物神经元作以适当的结构简化和功能抽象，就得到所谓的人工神经元。 一般地，人工神经元的结构模型如图9―8所示。它是一个多输入单输出的非线性阈值器件。其中x1，x2，…xn表示神经元的n个输入信号量；w1，w2，…，wn表示对应输入的权值，它表示各信号源神经元与该神经元的连接强度；A表示神经元的输入总和，它相应于生物神经细胞的膜电位，称为激活函数；y为神经元的输出；θ表示神经元的阈值。于是, 人工神经元的输入、 输出关系可描述为： 图 9-15 人工神经元结构模型 1. 阈值型 2. S型 　　这类函数的输入－输出特性多采用指数、对数或双曲正切等S型函数表示。例如: S型特性函数反映了神经元的非线性输出特性。 　　3.分段线性型 神经元的输入－输出特性满足一定的区间线性关系，其特性函数表达为 式中, K、Ak均表示常量。 　　以上三种特性函数的图像依次如图 9-16(a)、(b)、(c)所示。由于特性函数的不同, 神经元也就分为阈值型、S型和分段线性型三类。另外, 还有一类概率型神经元, 它是一类二值型神经元。与上述三类神经元模型不同, 其输出状态为0或1是根据激励函数值的大小, 按照一定的概率确定的。 例如, 一种称为波尔茨曼机神经元就属此类。 图 9-16 神经元特性函数 9.3.3 神经网络 　　1. 分层前向网络 分层前向网络如图 9-17(a)所示。这种网络的结构特征是,网络由若干层神经元组成, 一般有输入层、中间层(又称隐层, 可有一层或多层)和输出层,各层顺序连接；且信息严格地按照从输入层进,经过中间层, 从输出层出的方向流动。前向便因此而得名。其中输入层是网络与外部环境的接口,它接受外部输入；隐层是网络的内部处理层,神经网络具有的模式变换能力,如模式分类、模式完善、特征抽取等, 主要体现在隐层神经元的处理能力上；输出层是网络的输出接口, 网络信息处理结果由输出层向外输出。如后面将要介绍的BP网络就是一种典型的分层前向网络。 　　2. 反馈前向网络 反馈前向网络如图 9-17(b)所示。 它也是一种分层前向网络, 但它的输出层到输入层具有反馈连接。反馈的结果形成封闭环路, 具有反馈的单元也称为隐单元, 其输出称为内部输出。 　　3. 互连前向网络 互连前向网络如图 9-17(c)所示。 它也是一种分层前向网络, 但它的同层神经元之间有相互连接。 同一层内单元的相互连接使它们之间有彼此牵制作用。  　　4. 广泛互连网络 　　所谓广泛互连是指网络中任意两个神经元之间都可以或可能是可达的, 即存在连接路径,广泛互连网络如图9-17(d)所示。 著名的Hopfield网络、波尔茨曼机模型结构均属此类。 图 9-17 神经网络结构模型 　　神经网络至少可以实现如下功能： 　　——数学上的映射逼近 通过一组映射样本(x1, y1), (x2,y2), …, (xn, yn), 网络以自组织方式寻找输入与输出之间的映射关系：yi=f(xi)。这种映射逼近能力可用于系统建模、 模式识别与分类等。具有这种能力的典型网络有BP网络等。 　 ——数据聚类、压缩 通过自组织方式对所选输入模式聚类。 若输入模式不属于已有的聚类, 则可以产生新的聚类。同一聚类可对应于多个输入模式；另外,聚类是可变的。这是一种编码形式, 而不同于分类。典型的网络如ART模型,其应用如语音识别中用来减小输入的维数, 减小存储数据的位数等。 　　——联想记忆 实现模式完善、恢