第三章基本模型第二讲.pptVIP

第三章 神经网络基本模型;矢量;矩阵;矩阵的秩;转置;矢量与矢量的乘法(1) ;矢量与矢量的乘法(2) ;正交;逆矩阵;矩阵的特征值和特征向量;矩阵的迹和行列式值;矩阵的迹、行列式值与特征值之间的关系;矩阵对数值变量微分;矩阵函数对矩阵的微分;常用矢量微分的性质;罗森布拉特（Rosenblatt）发明的一种非常简单的单层装置，他称之为感知机（Perceptron)。意义在于，虽然它的连接最初是随机的，它能使用一种简单而明确的规则改变这些连接，因而可以教会它执行某些简单的任务，如识别固定位置的印刷字母。模型首次将自组织和自学习的思想引入智能系统。感知机的工作方式是，它对任务只有两种反应：正确或是错误。罗森布拉特证明，对于某一类简单的问题—“线性可分”的问题—感知机通过有限次训练就能学会正确的行为。;设计了一种有效的学习规则，但它需要一位“教师”来告诉网络它对某些输入的反应是好、还是很糟。训练一个网络需要有供训练用的输入集合，称作“训练集”。这有用的训练集必须是网络在训练后可能遇到的输入的合适的样本。通常需要将训练集的信号多次输入，因而在网络学会很好地执行之前需要进行大量的训练。其部分原因是这种网络的连接通常是随机的。而从某种意义上讲，脑的初始连接是由遗传机制控制的，通常不完全是随机的。 ;单层感知器的功能;线性可分 ;权空间：以 的权系数为坐标变量的（n+1）维欧氏空间 ;;净输入：;;迭代法：可能存在迭代是否成功的问题？是否存在不动点。;;异或问题 ;;显然我们不能用一条直线来解决。这就需要多层感知器 。 ;双层感知器;双层感知器;双层感知器;双层感知器;多层感知器 如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。  ;上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。 ;对于上面述及的异或问题，用一个简单的三层感知器就可得到解决 ;;;;;;可以看到在这个三层感知器（或者叫做两层前馈神经网络）中，隐层的三个神经元完成了把非线性可分问题转化成线性可分问题的计算，他们构成了隐层(Hidden Layer)，第二层的单个神经元实现最后的输出计算，构成输出层(Output Layer)。输入层(Input Layer)则对应输入数据（为处理）节点。 看到上面的图，我们知道现在平面上的点又被分成了正确分类了。;我们分析三层感知器的分类能力，有如下结论： 隐层神经元将输入n维空间拆分为多面体，这些多面体由超平面的交集组成。位于这些区域中的所有向量都映射到单位超立方体的特定定点上。输出神经元接着实现另一个超平面，此超平面将超立方体分为两个部分，使一部分位于超平面一侧，其余顶点位于另一侧。 三层Perceptron可以分类由多面区域并集组成的类别，但并不能这些区域任意组合而成的并集。 ;单层感知器最大的缺点是只能解决线性可分的分类模式问题，要增强网络的分类能力唯一的方法是采用多层网络结构，即在输入层与输出层之间增加一个隐含层，从而构成多层感知器(Multilayer Perceprons ，MLP)。这种由输入层、隐含层(可以是一层或者多层)和输出层构成的神经网络称为多层前向神经网络。多层感知器是对单层感知器的推广，它能够成功解决单层感知器所不能解决的非线性可分问题。;三层前馈神经网络 原理和二层前馈神经网络是一样的，它由两个隐层和一个输出层构成。理论上讲他可以对多面体上区域的任何并集进行分类。但是考虑到神经网络的大小和可计算性。我们要采用适当的算法来找到合适的神经网络结构。简言之，三层神经网络中：第一层构成超平面，第二层构成区域，输出层确定类。 要想使训练集中所有N个样本都分类正确就要求神经网络的结构不断扩张：增加层数、增加隐层的节点数、允许非相邻层的节点连接、允许同一层的节点连接都是已知的方法，其思路也大致相同：即将问题分解为更小的、更易于处理的问题。;线性表示;映射： (x,y)?(x,xy,y);下图是一个典型的线性不可分的情况;但是当我们把这两个类似于椭圆形的点映射到一个高维空间后，映射函数为：;在机器学习中的方法;3.3.2 线性不可分问题的克服;3.4 感知器MATLAB设计;Matlab的基本语句结构;矩阵的基本运算;6 单个矩阵元素的赋值与运算 Matlab允许用户对一个矩阵地单个元素进行赋值和操作。 Matlab还允许对子矩阵进行定义和处理。 A（：，j）表