theano学习指南3翻译多层感知器模型 xueliangliu 博客园.pdf

xueliangliu 随笔 - 25, ⽂章 - 0, 评论 - 5, 引⽤ - 0 导航 theano学习指南3 （翻译）-多层感知器模型 博客园 ⾸ ⻚ 本节要⽤Theano实现的结构是⼀个隐层的多层感知器模型 新随笔 联 系 （MLP）。MLP可以看成⼀种对数回归器，其中输⼊通过⾮线 订 阅 性转移矩阵$\Phi$做⼀个变换处理，以便于把输⼊数据投影到 管 理 ⼀个线性可分的空间上。MLP的中间层⼀般称为隐层。单⼀的 2013年4 ⽉ 隐层便可以确保MLP全局近似。然⽽，我们稍后还会看到多隐 ⽇ ⼀ ⼆ 三 四 五 六 层的好处，⽐如在深度学习中的应⽤。 31 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 （本节只要介绍了MLP的实现，对神经⺴络的背景知识介绍 21 22 23 24 25 26 27 28 29 30 1 2 3 4 不多，感兴趣的朋友可以进⼀步阅读相应教程 - 译者注） 5 6 7 8 9 10 11 公告 MLP模型 昵称：xueliangliu MLP模型可以⽤以下的图来表⽰： 园龄：1年8个⽉ 粉丝：12 关注：0 +加关注 搜索 找找看 ⾕歌搜索 常⽤链接 我的随笔 我的评论 我的参与 最新评论 单隐层的MLP定义了⼀个映射： 我的标签 f : RD → RL 我的标签 theano (2) ，其中 $D$和$L$为输⼊向量和输出向量$f(x)$的⼤⼩。 tutorial(1) ⻉叶斯(1) $f(x)$的数学表达式为： 深度学习(1) deep learning(1) f (x) = G(b(2) + W (2) (s(b(1) + W (1) x))) plsa(1) 随笔档案 其中$b^{1)}$,$b^{(2)}$为偏差向量， 2013年6⽉ (1) $W^{(1)}$,$W^{(2)}$为权重向量，$G$和$s$为激活函 2013年4⽉ (3) 数 2012年9⽉ (1) 向量 $h(x) = \Phi(x) = s(b^{(1)} + W^{(1)} x)$ 定义 2012年8⽉ (2) 2012年6⽉ (1) 了隐层。 $W^{(1)} \in R^{D \times D_h}$为连接输⼊向 2012年5⽉ (1) 量和隐层的权重矩阵。其中每⼀列表⽰了输⼊神经元和⼀个隐 2012年4⽉ (1) 层神经元权重。$s$函数的经典选择包括 tanh, $tanh(a)= 2011年12⽉ (1) 2011年11⽉ (1) (e^a-e^{-a})/(e^a+e^{-a})$ ，或者符号函数 2011年6⽉ (1) sigmod ， $sigmoid(a)=1/(1+e^{-a})$ 。 2011年3⽉ (8) 2010年7⽉ (1) 模型的输出向量为 $o(x) = G(b^{(2)} + W^{(2)} 2009年12⽉ (1) h(x))$.读者应该记得，该形式在上⼀节中⽤过。和之前⼀样， 2