激活函数可调神经元模型及其有监督学习的应用.pdfVIP

中 国 科 学 （ 辑） J 第 卷 第 期 （ ） 年 月 ! ?:KJ6:J K6 :LK62 ?+E-+ J C! H 激活函数可调的神经元模型 及其有监督学习与应用! 吴佑寿 赵明生 （清华大学电子工程系，北京 !#$ ） 摘要 提出一种激活函数可调的新神经元模型（ ，简记为 %’()*+ (,%-.(%-/’ 0’,%-/’ ）模型，并给出这类模型的一般形式 该模型用于多层前向神经网络 时， 123 4 5366 其激活函数可借类似 算法进行训练而求得 通过几个具体例子给出了对激活函 78 4 数进行训练的算法 试验结果表明，采用 模型的多层前向神经网络的网络容量 4 123 和性能，优于采用通常598 模型的网络4 关键词 神经元模型 神经网络 !# 神经元模型 学习算法 神经元的598 模型是5,:**/,; 和8-%% 于!=$ 年提出的，半个世纪以来在各种人工神经 网络的研究中得到广泛应用 这种模型用连接权值和非线性激活函数分别模仿神经元的突触 4 和细胞体的作用 在训练过程中，权值是可以调节的，但激活函数不能调节，是事先确定的 4 4 显然这种模型过于简单，和生物神经系统的神经元相差较大，因而它的性能受到极大的限制4 五十几年来人工神经网络研究虽然取得很大成绩，但也暴露出一些重要问题，阻碍着研究工作 的进展，这可能和神经元的模型有关 这些问题有： 4 （ ） 模型的激活函数固定不变，不适用于求解某些问题 曾深入研究了一些 ! 598 4 ?+@++ 常用的 网络，发现采用固定的 型激活函数神经元模型的网络来解决某些问题时，很难获 78 ?9 ［］ 得满意结果，网络收敛慢，而且对某些参量变化过于敏感 ! 4 ?+@++ 这个结论很有启发意义4 ［］ C A++ 和 等人 也曾对采用 型， 型和正弦型激活函数的神经元模型的映射能力分别 B-* ?9 D( 进行模型试验，结果表明，在这 种网络中采用 型激活函数的网络，其映射性能最差 ?9 4 （ ）网络的容量与网络规模有关 解决较复杂的问题时需采用规模较大的网络 但是，