Chapter_2_Perceptron.docVIP

Chapter 2 Perceptron 一、Introduction 感知器：MP模型 + Learning Algorithm；F. Rosenblatt, 1958; 贡献：给出了网络的学习算法；第一个应用于实际的神经网络（模式识别）； 功能：分类，线性分类器。 二、Perceptron Architectures Single-neuron Perceptrons Multi-neuron Perceptron Figure. Single-neuron Perceptron Figure. Multi-neuron Perceptron Output , or where Functions： 两类分类 多类分类 三、模式识别简介 Sections 3~4参阅： 模式识别系统的四个组成部分（统计） 数据获取预处理特征提取分类器的设计 (1) 数据获取 Acquire Data 模式用计算机能接受的形式表示，主要有三种表示类型： 一维信号（波形） 语音信号、心电图、机械震动信号等。 二维图象 数字、文字、指纹、CT图等。 物理参量 各种实验数据。 (2) 预处理 Pre-processing 去除噪声、加强有用信息。 (3) 特征提取 Abstract Features 对原始数据进行变换选取最能反映分类本质的特征，构成特征向量。 (4) 分类器的设计 Design of Classifiers 神经网络、统计方法（Bayes 分类器） 例题. 说明性实例 (S. Theodoridis, Pattern Recognition,模式识别,机械工业出版社，2006. p4) 设计恶性肿瘤识别仪： 模式：肿瘤； 训练样本（CT图）：标准数据库。 数据获取：CT图 良性肿瘤 恶性肿瘤图 特征提取： 良性 恶性 Figure. 特征向量分布图 分类器设计： 使用训练样本，通过某种学习算法确定直线L. 新模式识别： 新的CT图象：良性肿瘤。 Remark: 此例取自 S. Theodoridis and K. Koutroumbas, 模式识别，机械工业出版社，2006. p4 关于分类的一些基本概念 以两类为例：. (1) 线性可分 Linear Separable Hyperplane S—决策面（边界） Decision Boundary — 决策函数 Discriminant Function 决策规则 对于新的模式, , 如果决策函数取为 决策规则 (2) 非线性可分 Nonlinear Separable (3) 不可分 Nonseparable g0 g0 g=0 四、感知器的分类功能 1. 单神经元感知器---两类线性分类器 Known: 是线性可分的, Goal: 设计单神经元感知器（），使. 2. 多神经元感知器---多类线性分类器 多类分类方案 方案1 以三类为例，假设Class1, Class2, Class3是线性可分的。 缺点：模式空间中存在不确定区域。 感知器实现 Known: 是线性可分的。 Objective：设计M神经元感知器（求），使. Remark: M个单神经元感知器分别训练。 五、感知器学习规则 (Perceptron Learning Rule) 1. 问题的陈述 (Statement of problem) 仅考虑两类分类问题。 Known Training Samples: ,,…——线性可分, Where , Goal: 给出求的算法，使. 2. 说明性例子 Known： Training Samples （感知器形式）： ，， W 学习规则的构造 （考虑） 初值化权值：—随机产生 (1) 输入 网络实际输出： 目标输出： ，错分。 W(0) 调节规则： （2）输入 网络实际输出： 目标输出：