7无线通信信号处理_第4讲(神经网络信号处理)说课.ppt

1 第四讲 神经网络信号处理 南京邮电大学 郑宝玉 2015.8.20 前 言 人工神经网络： 非线性滤波和机器学习及大数据处理的重要方法 2 3 What is Learning? Herbert Simon: “Learning is any process by which a system improves performance from experience.” 4 机器学习简介 机器学习是人工智能的核心研究领域之一 任何一个没有学习能力的系统都很难被认为是一个真正的智能系统 经典定义：利用经验改善系统自身的性能 随着该领域的发展，主要做智能数据分析 典型任务：预测 典型应用：计算机视觉、Web搜索、机器人等 5 从数据中学习 6 Paradigms of Machine Learning 7 Related Disciplines Artificial Intelligence Data Mining Probability and Statistics Information theory Numerical optimization Computational complexity theory Control theory (adaptive) Psychology (developmental, cognitive) Neurobiology Linguistics Philosophy 8 深度学习 传统学习 9 深度学习 10 从浅层到深度学习 11 在线学习 12 在线学习 13 主要内容 神经网络模型及其训练 主分量分析(PCA)与 独立分量分析(ICA) 支持向量机(SVM) 14 神经网络模型及其训练 引言 神经网络模型 神经网络训练 静态神经网络 动态神经网络 训练规则 训练方法 15 神经网络模型 神经网络模型 静态神经网络 1. 多层感知器(MLP: Multilayer Perceptron) －多层感知器是信号处理中应用最多的神经网络结构， 如图1所示。 －多层感知器是一种前饋神经网络, 由输入层、输出层和 若干中间层(常称为隐层,hidden-layer )组成 － 多层感知器的每一层包括若干个节点 (node) 或神经元 (neuron), 如图2；神经元是人工神经网络的基本单元. 16 图1 输入层 隐层 输出层 多层感知器模型 神经元 17 神经元( neuron)模型 18 激活函数 19 多层感知器 (1/2) 神经网络模型 1. 多层感知器 神经元:如图;第l 层中第j个神经元的如下输入-输出关系: 其中 L、L+1: 分别为MLP的级数和层数 20 多层感知器 (2/2) 神经网络模型 1. 多层感知器  激活函数 其变化范围为 ; 其导数为 - Logistic函数: - 正切双曲函数: 其变化范围为 ; 其导数为 (Sigmoid函数) 21 径向基函数网络模型 Alternative to MLP: Function approximation 图3a 22 图3b 23 径向基函数网络 (1) 神经网络模型 2. 径向基函数网络(RBFN:Radial basis function nets)  RBFN的结构: 它是另一种形式的前馈网络, 如图3。  RBFN与MLP的主要差别 - RBF网络是单隐层的网络,而 MLP可以有一个或多个隐层 - RBFN是一个局部逼近器，而MLP是一个全局逼近器。 - RBF网络比单层感知器网络具有更强的功能; 当中心向量 xi确定后, RBF网络只需对输出层进行修正(更新),因此比 MLP网络具有更快的敛速, 是一种非常有效的前饋网络。 24 径向基函数网络 (2) 神经网络模型 2. 径向基函数网络  RBFN与MLP的主要差别(续) - 表征RBF网络隐单元的核(基函数)一般定义为高斯函数: 式中x 是输入向量, xi 是第i 单元的中心。由M个隐单元RBF 网络实现的输入输出映射定义为 而表征MLP网络隐单元的核定义为logistic函数: 25 Approximation RBF: 局部网络(Local network) Only inputs near a receptive field produce an activation Can give “don’t know” output MLP: 全局网络(Global net