神经信息学.pptVIP

神经信息学 目 录 1 ART的结构 2 ART的初始化 3 ART的实现 识别、比较 、查找 、训练 4 ART2 自适应谐振理论 自适应共振理论ART(Adaptive Resonance Theory)模型是美国Boston大学的S．Grossberg和A．Carpenet在1976年提出的。 ART是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，对环境信息的编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。ART就是这样一种能自组织地产生对环境认识编码的神经网络理论模型。网络的可塑性需要的4项功能 自适应谐振理论 Grossberg一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学模型和理论。 ART模型是基于下列问题的求解而提出的： 1．对于一个学习系统，要求它有适应性及稳定性，适应性可以响应重要事件，稳定性可以存储重要事件。这种系统的设计问题。 2．学习时，原有的信息和新信息如何处理，保留有用知识，接纳新知识的关系如何及解决的问题。 3．对外界信息与原存储的信息结合并决策的问题。 自适应谐振理论 ART理论已提出了三种模型结构，即ARTt，ART2，ART3。 ART1用于处理二进制输入的信息； ART2用于处理二进制和模拟信息这两种输人； ART3用于进行分级搜索。 ART理论可以用于语音、视觉、嗅觉和字符识别等领域。 ART总体结构图 ART的结构 X=(x1，x2，…，xn) R=(r1，r2，…，rm) C=(c1，c2，…，cn) P=(p1，p2，…，pn) Ti=(ti1，ti 2，…，ti n) Bi=(b1i，b2i，…，bni) ART的结构 tij表示识别层的第i个神经元到比较层的第j个神经元的联接权 bij表示比较层的第i个神经元到识别层的第j个神经元的联接权 pi为比较层的第i个神经元的网络输入 比较层和识别层 ART Architecture Functions of each models: Comparison layer: -accept binary input X -initially pass X to C . So C = X -binary vector R is produced from recognition layer to modify C ART Architecture ART Architecture -each neuron in the comparison layer has 3 inputs: X: input vector Pj: weighted sum of recognition layer output Gain 1: same signal to all neurons -use “two-third” rule = at least two of a neuron’s three inputs must be one, otherwise, the output is zero. -initially, Gain 1 is set to one and R are set to 0. ART Architecture Recognition layer: -compute dot product of B and C -the neuron with largest output wins -the winning neuron is set to one others are set to zero. Gain 2 -OR of components of X ART Architecture ART Architecture Gain 1 OR of X components G2 OR of R G1 ---------------------------------------------------- 0 0 0 0 1 1 0 1 1 1 1 0 0 0 1 0 比较层输出信号控制 G1= ┐(r1∨r2∨…∨rm) ∧ (x1∨x2∨…∨xn) 比较层 执行2/3规则 ci= 1 xi+pi+G1≥2 ci= 0 xi+pi+G1 2 识别