Chapter_3__ADALINE_Networks.docVIP

Chapter 3 ADALINE Networks ADALINE: ADAptive Linear NEuron 一、Introduction B. Widrow and M. Hoff, 1960: 线性激活函数+LMS (Least Mean Square) 学习算法。 1. 网络结构 where 一般：， ， 应用：分类；自适应滤波：自适应噪声消除（长途电话回声消除）、自适应信道均衡 2. 分类性能 （线性分类器） 感知器 ADALINE网络 二、LMS学习算法 (Least Mean Square) 随机梯度法、Widrow-Huff学习算法 1. Mean Square Error 设是随机抽取的训练样本，其中 Input: , Target output: 均方误差 Goal: 求 2. 求精确解 Solution: = = = where —输入与输出的互相关向量； —输入的自相关矩阵。 （是半正定的矩阵：） 从而 . 于是，精确解 （正定时） Problem: 统计量、的计算通常是复杂和困难的 Remark: 为克服上述问题，Widrow-Hoff建立了LMS算法。 3. LMS算法 Aim: 使用训练样本，,…,，求的近似解。 (1) 梯度法 . 迭代公式 Problem: 要求知道期望值。 Remark. 连续时间形式：. Regularization Form: If we let , then ). (2) LMS算法 Idea: 用随机梯度代替. 设是随机抽取的训练样本列， = =——随机梯度 迭代公式 . 用于分类问题 Remark: This is an on-line algorithm. (3) 收敛性分析 Theorem 1. If ，then , where Theorem 2. Let (). Then (the more smaller，the more the Constant smaller )，where is the largest eigenvalue of Remarks: 实际应用中，试探选取，如 LMS算法在数字信号处理应用中取得了极大的成功，而在多层网络中则不成功(一个多层具有线性激活函数的网络等价于一个单层网络)，从而在60年代初期，Widrow终止了神经网络的研究，全力研究自适应信号处理。 B. Widrow and S. D. Stearns, Adaptive Signal Processing, Englewood Cliffs, Prentice Hall, 1985. 4. Examples—应用于分类问题 Example 1. 苹果和橘子的区分问题。 问题的陈述： 特征：，，， ，仅第二个特征不同。 使用LMS学习算法训练一个ADALINE网络，解决此问题。 Solution: 确定学习步长： 假设输入向量以等概率地产生（即苹果和橘子以等概率出现在传送带上）。 特征值：. 取学习率（保守选取） (2) 用LMS学习算法求最优解. 不妨设阈值为0； 训练样本列： ，，…… （一般随机选取）； 初值权值：. 迭代过程： (1) 输入 . (2) 输入 . . 决策面： (介于两样本点中间；仅第二个特征起作用；感知器一般不能产生此边界) Example 2. Widrow and Hoff 论文中的模式识别例子。(p192) 识别字母：T, G, F. Solution. 特征提取：. 16维特征向量，扫描：第一列、第二列、。。。 如， T G F Target Output 60 0 (为了便于在仪器上表示) 识别区间 迭代参数的选取： 误差收敛曲线：p193. Remarks: Widrow and Hoff使用硬件实现它； 作业：使用Matlab编程实现，并考虑在不同噪声背景下的辨识率。 三、LS学习算法—用于分类 LS: Least Square, 最小二乘 1. 平方误差 (squared error) Training Samples: ，，。。。， Squared error: , where ,. 2.