深度学习——从识别手写数字谈起.docVIP

深度学习——从识别手写数字谈起 深度学习 Deep Learning ——从识别手写数字谈起 ???????手写数字识别 感知器（Perceptrons） Sigmoid神经元 神经网络结构 识别手写数字神经网络示例 梯度下降法 究竟什么是深度学习？ 1981 年诺贝尔医学奖， David Hubel ，TorstenWiesel 和 Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”：可视皮层是分级的。 ?V1视觉皮层1.4亿神经元 ?V2、V3、V4和V5更加 复杂 ?人类大脑信息处理能力 是惊人的 ? ?计算机实现的困难性 ?如何编程实现识别数字“9” ?深度学习的解决之道 ?大量实例用于训练学习 ?设计一套能够学习数字“识别”技能的系统 ?利用训练好的系统去识别未知的数字 ?选取手写数字识别作为例子的原因？ ?具有一定的挑战性 ?问题的复杂度不高，不需要大量的运算量 ?许多著名的技术和方法可以应用于手写数字识别系统 ?技术互通，多领域互用（计算机视觉、语音识别、自动驾驶等） ?以手写数字识别为基础，贯穿始终，从而简要介绍深度学习的基本要点 ?上世纪50年代，由Frank Rosenblatt发明 ?神经网络的基石 ?感知器的使用手册： ?二进制输入：??1，??2，??3 ?权：??1，??2，??3 ?用来表示输入项的重要性，权值越大，该项输入越重要 ?阈值：threshold ?确定最终输出值 activation= ??1??1+??2??2+??3??3 ?吃烤鸭的例子 ?决定因素有三： ?天气好不好？ ?男（女）朋友去不去？?是否有公共交通？ ?利用感知器解决 ?决定因素对应3个输入 ?确定权值 ?确定阈值 天气 6 朋友 2 2 公交 6 2 2 activation= ??1??1+??2??2+??3??3 ?简单神经网络（Neural Network） ?输入层 ?输入基本决策要素 ?决策层No.1 ?权衡输入，做简单决策 ?决策层No.2 ?根据上一层输出，做出更复杂的决策 ?输出层 ?输出最终结果 输入层 决策层 决策层 No.2 No.1 输出层 ?表达式简化 ?引入点乘 ?引入偏差值（bias） ?神经网络中最重要的两个参数 ?权值（weights） ?常用 ?? 来表示 ?决定输入项的重要性 ?偏差值（bias） ?常用 b 来表示 ?激活神经节点的难易程度 ?b 值越大，神经节点激活越容易 ?????≡ ??1??1+??2??2+??3??3= ????????????≡?threshold ?与非门 ?(-2) * 0 + (-2) * 0 + 3 = 3 （正数） ?(-2) * 0 + (-2) * 1 + 3 = 1 （正数）?(-2) * 1 + (-2) * 0 + 3 = 1 （正数）?(-2) * 1 + (-2) * 1 + 3 = -1?1 bit 加法器 ?求和： ?进位： （负数） ?感知器替换与非门 ?权值均为 -2 ?偏差值均为 3 ?感知器→与非门→任意运算 ?神经网络的强大之处 ?实现任意运算 ?自我学习的能力 ?实现比复杂电路更强大的功能 ?输入： ?手写数字扫描图像 ?输出： ?是否为“9” ?训练方法及问题 ?不断调整权（weights）和偏差值（biases），使输出接近“9” ?调整过程中可能出现“跳变” ?如何消除跳变？ ?修改Perceptrons的输出 ?output′=??(output) ?输入值为实数 ? ??∈0,1 ?特性： ???→∞ ,??(??)≈1 ???→?∞ ,??(??)≈0 ?功效与原版Perceptrons相似 ?为什么选取这个函数？ ??=??1??1+??2??2+??3??3+?? Sigmoid Function ?Sigmoid函数优点 ?平滑版Step函数 ?消除Step函数可能导致的跳变 ?便于根据输出调整参数 ?利于导数运算 ?分析 ? 神经元输出： ? Δoutput是关于 Δ???? 和 Δ?? 的线性函数 ?神经网络分层 ?输入层 ?隐藏层 ?既不是输入也不是输出 ?输出层 ?各层设计 ?输入层、输出层具有直观性 ?最关键的就是隐藏层