机器学习神经网络与支持向量机部分【可编辑PPT】.ppt

机器学习神经网络与支持向量机部分;机器学习——人工神经网络;2、人工神经网络的提出;3、人工神经网络的特点;4、生物神经元模型;3、生物神经元模型;4、神经元的MP模型;4、一般神经元模型;一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。

一个求和单元，用于求取各输入信号的加权和（线性组合).

一个非线性激活函数(作用函数)，起非线性映射作用并将神经元拘出幅度限制在一定范围内.

此外还有一个阈值;4、一般神经元模型;激活函数的作用;几种常见的激活函数;2，分段线性函数

它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。;3。Sigmoid函数;神经网络的基本模型;4、神经网络结构模型;4、神经网络结构模型;4、神经网络结构模型;4、神经网络结构模型;人工神经网络的学习;有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。

输入向量与其对应的输出向量构成一个“训练对”。

有导师学习的训练算法的主要步骤包括：

1）?从样本集合中取一个样本（Ai，Di）；

2）?计算出网络的实际输出O；

3）?求E=Di-O；

4）?根据E调整权矩阵W；

5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。;监督学习(有教师学习);无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应

抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。;强化学习（reinforcementlearning再励学习）;神经网络的学习规则;神经网络学习规则;b)Hebb学习

神经心理学家Hebb提出的学习规则可归结为”当某一突触（连接）两端的神经元的激活同步（同为激括或同为抑制）时，该连接的强度应增强，反之则应减弱”。;c)竞争学习

顾名思义，在竟争学习时网络各输出单元互相竟争，最后达到只有一个最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，这样众多输出单元中如有某一单元较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状态。

;BP反向??播神经网络;BP反向传播神经网络;BP神经网络模型;BP神经网络算法的推导;采用误差下降法，就是根据误差E(n)变化情况调整权值w，另一个角度说就是，权值w变化对误差E信号有何影响。即要求取，如果为正，表示随着w增加E增加，显然应该减少w,如果为负，表示随着w增加E减少，当然应该增加w,即按下列算式调节，η是比例因子，也称学习效率：;误差;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;BP神经网络算法的推导;;BP网络的标准学习算法;BP网络的标准学习算法-算法思想;6.4.2BP网络的标准学习算法;BP网络的标准学习算法;6.4.2BP网络的标准学习算法;BP网络的标准学习算法;6.4.2BP网络的标准学习算法;BP神经网络的特点;BP神经网络学习算法的矩阵实现;BP神经网络学习算法批训练的矩阵实现;BP神经网络学习算法批训练的矩阵实现;BP神经网络学习算法批训练的矩阵实现;BP神经网络学习算法的矩阵实现;BP神经网络学习算法的矩阵实现;BP神经网络学习算法的矩阵实现;6.4.3BP神经网络学习算法的MATLAB实现;BP神经网络学习算法的MATLAB实现;BP神经网络学习算法的MATLAB实现;x1;MATlABNN工具箱多层BP神经网;MATlABNN工具箱多层BP神经网;MATlABNNT传递函数类型;net=newff([-12;05],[3,1],{tansig,purelin},traingd);;2、BP神经网络的训练;仿真是对已经训练完成的BP神经网络进行应用模拟，以检查神经网络的响应性能。即当网络权值w,偏移值确定后，通过给定输入Pgiven，检查实际输出y与期望是否相符。对于仿真结果满足要求的网络就可定型。仿真采用下列函数：;1、手写数字字符的识别

2、人脸的识别

3、车型的识别

4、车牌的识别

5、指纹的识别

6、虹膜的识别

6、刚体目标的识别

7、人体目标的识别;神经网络手写数字识别设计实例;3、BP神经网络结构的设计

(1)输入节点数的确定

根据输入