第五讲 从感知器算法到机.ppt

第五讲：从感知器算法到机器学习 §5.1 人工神经元的构造依据 §5.2 M-P模型 §5.3 构造人工神经网络的基本要素 §5.4 感知器算法原理 §5.5 感知器分类的示例 §5.6 局限性和功能的扩展 §5.7 机器学习的一般原理和方法 §5.8 可以涉猎的参考书 * §5.1 人工神经元的构造依据 两态工作:兴奋----抑制 阈值作用:超过阈值才兴奋 多输入/单输出:获得其他神经元的众多输入,由轴突输出。 空间/时间叠加：激励/响应关系的互动作用与交互叠加。 可塑性连接：突触部分的连接强度可以调节。 * * * * * §5.2 M-P模型 1943年，McCulloch 和Pitts 提出了一种神经元模型： 其中输入向量为： 权值向量为： 神经元的输入/输出关系为： * §5.3 构造人工神经网络的基本要素 （1）神经元的激励函数（输入/输出特性） （2）网络的拓扑结构 （3）确定权值的方法——学习算法 * §5.4 感知器算法原理 （1）历史背景 1958年, Frank Rosenblatt提出了感知机(Perceptron)。 史称第一个机器学习模型。标志着对学习过程进行数学 研究的开端。 （2）单个神经元的的感知机 利用McCulloch 和Pitts 神经元模型，选激励函数为： 令 则 * （3）感知器学习算法（ 学习规则） Step 1，随机初始化权值和域值 Step 2，在样本集合 或 中任选一个类属已知的样本 作为感知器的输入，计算其实际输出 Step 3，对 Step 2中所得输出结果进行甄别检验，若分类正确，则不需要进行权值调整，若分类出错，则按Step 4中的算式进行权值调整。（可见，感知过程是一个有错必改的过程。） * Step 4，设n0为当前迭代次数，则权值调整算式为 其中 为类属标志的期望输出， 为学习率。 Step 5，重新从已知类属的样本集合 或 中选取 另一样本进行学习，即重复Step 2至Step 5，直到对于 所有i=1，2，…,(n+1),恒有 则学习过程结束，权值调整完毕。 * §5.5 感知器分类的示例 * 练习题 设有4个训练样本分属两个不同的类别: 试用感知器算法求出其分类判决函数. * §5.6 局限性和功能的扩展 感知器学习算法的局限性 只能胜任线性分类,不具备直接的非线性分类功能。 进一步的功能扩展 1）加入隐层； 2）寻求新的更有效的学习算法。 * §5.7 机器学习的一般原理和方法 （1）机器学习的原理图 （2）关键性问题 1）学习的策略和算法； 2）样本数据的完备性； 3）先验知识的利用。 完。 * §5.8 可以涉猎的参考书 [1]Tom M. Mitchell, 机器学习，(曾华军,张银奎译),机械工业出版社，2003年 [2] Tom M. Mitchell, Machine Learning，McGraw-Hill International Editions，China Machine Press，2003 [3]王珏, 周志华, 周傲英，机器学习及其应用，清华大学出版社，2006年 *