神经网络介绍—利用反向传播算法模式学习.docVIP

神经网络介绍—利用反向传播算法的模式学习 ［ 作者：Andrew Blais, Ph.D.????转贴自：developerWorks????点击数：10495????更新时间：2004-4-15????文章录入：admin ］ 神经网络也许是计算机计算的将来，一个了解它的好方法是用一个它可以解决的难题来说明。假设给出 500 个字符的代码段，您知道它们是 C、C++、Java 或者 Python。现在构造一个程序，来识别编写这段代码的语言。一种解决方案是构造一个能够学习识别这些语言的神经网络。这篇文章讨论了神经网络的基本功能以及构造神经网络的方法，这样就可以在编码时应用它们了。根据一个简化的统计，人脑由百亿条神经组成 — 每条神经平均连结到其它几千条神经。通过这种连结方式，神经可以收发不同数量的能量。神经的一个非常重要的功能是它们对能量的接受并不是立即作出响应，而是将它们累加起来，当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其它的神经。大脑通过调节这些连结的数目和强度进行学习。尽管这是个生物行为的简化描述。但同样可以充分有力地被看作是神经网络的模型。阈值逻辑单元（Threshold Logic Unit，TLU）理解神经网络的第一步是从对抽象生物神经开始，并把重点放在阈值逻辑单元（TLU）这一特征上。一个 TLU 是一个对象，它可以输入一组加权系数的量，对它们进行求和，如果这个和达到或者超过了某个阈值，输出一个量。让我们用符号标注这些功能，首先，有输入值以及它们的权系数：X1, X2, ..., Xn 和 W1, W2, ..., Wn。接着是求和计算出的 Xi*Wi ，产生了激发层 a，换一种方法表示：a = (X1 * W1)+(X2 * W2)+...+(Xi * Wi)+...+ (Xn * Wn)阈值称为 theta。最后，输出结果 y。当 a =theta 时 y=1，反之 y=0。请注意输出可以是连续的，因为它也可以由一个 squash 函数 s（或 sigma）判定，该函数的自变量是 a，函数值在 0 和 1 之间，y=s(a)。图 1. 阈值逻辑单元，带有 sigma 函数（顶部）和 cutoff 函数（底部）TLU 会分类，假设一个 TLU 有两个输入值，它们的权系数等于 1，theta 值等于 1.5。当这个 TLU 输入 0,0、0,1、1,0 和 1,1 时，它的输出分别为 0、0、0、1。TLU 将这些输入分为两组：0 组和 1 组。就像懂得逻辑连接（布尔运算 AND）的人脑可以类似地将逻辑连接的句子分类那样，TLU 也懂得一点逻辑连接之类的东西。TLU 能够用几何学上的解释来阐明这种现象。它的四种可能输入对应于笛卡尔图的四个点。从等式 X1*W1 + X2*W2 = theta，换句话说，也即 TLU 转换其分类行为的点开始，它的点都分布在曲线 X2 = -X1 + 1.5 上。这个方程的曲线将 4 个可能的输入分成了两个对应于 TLU 分类的区域。这是 TLU 原理中更为普通的实例。在 TLU 有任意数目的 N 个输入的情况下，一组可能的输入对应于 N 维空间中的一个点集。如果这些点可以被超平面 — 换句话说，对应于上面示例中的线的 N 维的几何外形切割，那么就有一组权系数和一个阈值来定义其分类刚好与这个切割相匹配的 TLU。TLU 的学习原理既然 TLU 懂得分类，它们就知道素材。神经网络也可假定为可以学习。它们的学习机制是模仿大脑调节神经连结的原理。TLU 通过改变它的权系数和阈值来学习。实际上，从数学的观点看，权系数阈值的特征有点武断。让我们回想一下当 SUM(Xi * Wi) = theta 时 TLU 在临界点时输出的是 1 而不是 0，这相当于说临界点是出现在 SUM(Xi * Wi)+ (-1 * theta) = 0 的时候。所以，我们可以把 -1 看成一个常量输入，它的权系数 theta 在学习（或者用技术术语，称为培训）的过程中进行调整。这样，当 SUM(Xi * Wi)+ (-1 * theta) = 0 时，y=1，反之 y=0。在培训过程中，神经网络输入：一系列需要分类的术语示例 它们的正确分类或者目标 这样的输入可以看成一个向量：X1, X2, ..., Xn, theta, t，这里 t 是一个目标或者正确分类。神经网络用这些来调整权系数，其目的使培训中的目标与其分类相匹配。更确切地说，这是有指导的培训，与之相反的是无指导的培训。前者是基于带目标的示例，而后者却只是建立在统计分析的基础上（请参阅本文随后的参考资料）。权系数的调整有一个学习规则，一个理想化的学习算法如下所示：清单 1. 理想化的学习算法