2008年研究生神经网络试题A卷参考答案.docVIP

研究生神经网络试题A卷参考答案 一、名词解释(共5题，每题5分，共计25分) 1、泛化能力 答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。 2、有监督学习 答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。 3、过学习 答：过学习（overfitting），也叫过拟和由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC维太大，所以期望风险仍然很高。典型的过学习是多层前向网络的BP算法、表示神经元i和j的激活值(输出)，表示两个神经元之间的连接权，则Hebb学习规则可以表示为： ，这里表示学习速率。Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。 5、自学习、自组织与自适应性 答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力方面的特征是神经网络的自学习、自组织与自性适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。 二、问答题（共7题，每题8分，共计56分） 1、试述遗传算法的基本原理，并说明遗传算法的求解步骤。答：遗传算法的基本原理如下：通过适当的编码方式把问题结构变为位串形式（染色体），在解空间中取一群点作为遗传开始的第一代，染色体的优劣程度用一个适应度函数来衡量，每一代在上一代的基础上随机地通过复制、遗传、变异来产生新的个体，不断迭代直至产生符合条件的个体为止。迭代结束时，一般将适应度最高的个体作为问题的解。 一般遗传算法的主要步骤如下： (1) 　 随机产生一个由确定长度的特征字符串组成的初始群体。 (2) 　对该字符串群体迭代的执行下面的步 (a) 和 (b) ，直到满足停止标准： (a) 计算群体中每个个体字符串的适应值； (b) 应用复制、交叉和变异等遗传算子产生下一代群体。 (3) 　把在后代中出现的最好的个体字符串指定为遗传算法的执行结果，这个结果可以表示问题的一个解。 什么是进化计算？它包括哪些内容？它们的出发点是什么？答：进化计算即模仿生物来建立功能强大的算法，进而将它们运用于复杂的优化问题。进化计算包括遗传算法、进化策略 、进化编程 、遗传编程和人工生命。 遗传算法是模仿生物遗传学和自然选择机理，通过人工方式构造的一类优化搜索算法，是对生物进化过程进行的一种数学仿真，是进化计算的一种最重要形式。 进化策略是一类模仿自然进化原理以求解参数优化问题的算法。 进化编程的过程，可理解为从所有可能的计算机程序形成的空间中，搜索具有高的适应度的计算机程序个体。 人工生命试图通过人工方法建造具有自然生命特征的人造系统。 BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。 两者都有局部极小问题。 6、BP算法的基本思想是什么，它存在哪些不足之处？（9分） 答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。1）正向传播：输入样本－输入层－各隐层（处理）－输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－隐层（逐层）－输入层其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；3）隐节点