神经网络试卷.docVIP

神经网络试卷 填空题（30分） 人工神经元网络是由大量的神经元网络通过极其丰富和完善的联接而构成的自适应非线性动力系统。研究神经网络可以分为两个过程，即快过程，指神经网络的计算过程；慢过程，指神经网络的学习过程。 神经元（即神经细胞）是由细胞体、树突、轴突、和突触四个部分组成。 神经元的膜电位是指以外部电位作为参考电位的内部电位；静止膜电位是指没有输入时的膜电位，通常为-70mv；动作过程是指外界有输入时，受其影响膜电位的变化过程。 神经元的兴奋是指神经元产生膜电位约为100mv，时宽约为1ms的脉冲过程，膜电位的阈值为-55mv，大于-55mv则兴奋。 自组织过程就是一种非监督学习，这种学习的目的是从一组数据中提取有意义的特征或某种内在的规律性，它所遵循的规则一般是局部性的，即联接权的改变只与近邻单元的状态有关。 人工神经元网络按网络结构可分为前馈型和反馈型；按网络的性能分为连续性和离散性、确定性和随机性网络；按学习的方式可分为有导师和无导师学习；按照突触联接的性质分为一阶线性关联与高阶线性关联。 D.D.Hebb学习规则是由Hebb D D提出来的，是最早、最著名的训练算法，Hebb规则假定：当两个神经细胞同时兴奋时，它们之间的联接强度应该加强。在ANN中Hebb算法最简单的描述为：如果一个处理单元从另一个处理单元接收输入激励信号，而且两者都处于高激励电平，那么处理单元间的加权就应当增强。 误差反传算法的主要思想是把学习过程分为两个阶段：第一阶段（正向传播过程）给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望输出值，则逐层递归的计算实际输出与期望输出之差值（误差）以便根据此差值调节权值，具体些说，就是可对每一个权重计算出接收单元的误差值与发送单元的激活值积。 在统计模式识别和回归分析中，降低输入变量的维数是很重要得。设原始变量x为d维，m d。如果简单对x进行截断，所带来的均方误差等于舍掉的各分量之和。主要成分分析（principle components analysis）具体说找到一个可逆的变量T使得对Tx的截断在均方差意义下最优。 神经网络常用的七种学习规则是：Hebb学习规则、感知器的学习规则、δ学习规则、Widrow-Hoff学习规则、相关学习规则、Winner-Take-All（胜者为王）学习规则、内星和外星学习规则。 简答题（40分） 在神经网络PCA算法中，为什么引入非线性PCA算法？ 答：因为我们讨论的线性PCA变换，存在一些不足： （1）常规的PCA可用数值法有效的求解，而基于梯度法的神经网络收敛较慢 （2）主分量只由数据的二阶统计量——自相关阵确定，这种二阶统计量只能完全描述平稳的高斯分布的数据。 （3）PCA网络不能从线性组合中把独立的信号成分分离出来。 若网络中引入非线性，用神经网络又更大的优势，因为 输入到输出的变换是非线性的，使得用神经网络更有效。 梯度法通过迭代计算，避免了非线性方程，且可以用模拟硬件电路实现。 可以使用如累计量这样的高阶统计量，可以代表非高斯数据。 非线性处理可以使输出更加相互独立。 试用三层BP网络求解异或问题？ 答：建立三层BP网络的结构图如下： 输出为： X1 X2 Y1 Y2 Y 0 0 0 0 0 1 1 1 1 0 0 1 1 0 1 1 0 1 0 1 其中： 3、简述神经元的动作特征？ 空间性相加 设任意一个输入信号xi，引膜电位的变化量：wixi，则x1,x2,…,xn引气膜电位总的变化量记为：＝W·X （２）时间性相加 设wi t’ 表示第i个输入端的单位强度的输入信号（xi 1时）对t’间隔之后产生的膜电位变化量，则xi在t时刻引起的膜电位变化量为： （３）阈值的作用 非线性关系 （４）不应期 绝对不应期：膜电位低于静止膜电位-70mv。 相对不应期：膜电位稳定在-55mv，外界有变化就响应。 （５）疲劳 随着持续兴奋，阈值不断提高，神经元难以兴奋。 （６）可塑性 突触权wi随信号xi的强弱和神经元的兴奋程度变化而变化。 4、简述Hebb学习规则？ 答：考虑有ｎ个输入的单个神经元，其权向量为w∈Rn,输入向量x∈Rn,外加应有输出值ｄ，输入信号按未知概率分布p x,d 提供。则神经元的统一学习方程为： 省略时间变量ｔ，把化为右端常数，有 离散情况： 连续情况： 其中，为正实数，，为学习信号，取，得到Hebb学习规则 问答题 30分 推导PCA的工作原理？ 答：令x代表d维随机向量，假定其均值为零，即E[x] 0。 令u代表一个d维单位向量，即||u|| uTu 1/2 1,x在u上的投影为a xTu uTx a亦为随机变量，均值为零（因为E[a] uTE[x] 0），其方差为