LearningDeepArchitecturesforAI中文版初译整理.docVIP

Learning Deep Architectures for AI Yoshua Bengio 摘要 理论结果表明，为了学习用于表示高层次的抽象（例如视觉、语言以及其他AI级别的任务）的复杂函数，我们需要深度结构。深度结构的组成包括了多层次的非线性操作，比如具有许多隐含层的神经网络，或者重用了许多子公式的复杂命题公式。搜索深度结构的参数空间是一件很困难的任务，但是最近提出的诸如用于深度信念网络等的学习算法，对于探索这类问题取得了显著的成功，在某些领域达到了最新的水平。本书讨论深度学习算法的方法和原理，尤其是那些被充分用作基石的单层模型的非监督学习算法例如受限玻尔兹曼机(RBM)，它用于构建深度信念网络等深度模型。 介绍 允许让计算机来模拟我们的世界，足以表明我们所说的智力已经超过半个世纪一直是的研究重点。为了实现这一点，很显然，有大量的关于我们的世界的信息应该以某种方式被明确地或含蓄地存储在计算机中。因为手工地将那些信息转换，并使计算机可以用它们来回答问题并推广到新的环境中是一件令人怯步的事，许多研究者纷纷转向学习算法来获取大部分信息。了解和改进的学习算法已经取得了很大的进展，但人工智能仍然面临挑战。我们有算法可以去理解场景并用自然语言来描述它们？不完全是，除非在非常有限的情况下。我们有算法可以推断出足够的语义概念以便能够使用这些概念进行大多数人类互动？不，如果我们考虑图像理解，人工智能任务里最棒的一个分支，我们认识到，我们还没有能发现许多视觉和语义概念的学习算法，而它们(指概念)似乎有必要出现在网络上解释大部分图像。这种情况就类似于其他的AI任务。 图1.1 我们希望原始输入图像能被转换为更高水平的表述，并表现原始输入表达式越来越多的抽象功能，如：边、局域形状、对象部分等等。在实践中，我们不能提前知道“正确”的表达式应该是什么，在所有这些抽象层中，尽管语言概念可以帮助我们猜测到更高层次表述可能隐含的信息 考虑一个例子，要求解释一个如图1.1中输入的图像。当人们尝试着去解决特定的AI任务（例如机器视觉或自然语言处理），他们往往会直接利用他们的有关如何分解问题转化子问题和多级表示的经验，例如，在对象的部分和一系列模型中[138,179,197],可以重新用在不同的对象实例模型的部件。例如，最先进机器视觉领域的当前语句涉及从像素开始并以线性或内核分类结束[134,145]模块的序列，以及中间模块混合工程的转换和学习。 例如，先提取低级别的功能，那些不变的小几何变化（如Gabor滤波器的边缘检测），并逐渐转变它们（例如，使它们在参照物改变或反转时保持不变，有时通过集中和子采样），然后检测最频繁的模式。一种貌似有理且常见的方式是从自然图像中提取有用的信息，包括将所述原始像素表示成逐渐更抽象的表示，例如，从边缘表达式，以及更复杂的，局部的形状的检测，到抽象类别的识别与子对象，哪些是图像的部分对象相关联，并把这些放到一起来捕获足够关于这些场景的理解来回答关于它们的问题。 在这里，我们假设必要的计算机来表达复杂的行为（其中一个可能被标记为“智能”）需要高度变化的数学函数，即，数学函数是高度非线性依据原始感知输入，并横跨感兴趣的领域显示一个非常大的的变化（增长和减小）。我们观察原始输入给学习系统作为一个高维实体，提出了许多观测变量的，这些都和未知的错综复杂的统计关系有关。例如，使用固态物体和照明的三维几何的知识，就可以在与底层物理和几何因素小的变化（如位置，方向，对象的照明）用的图像的所有像素的变化像素强度。我们称之为变量，是因为它们是数据的不同方面，并可以独立地经常变化。在这种情况下，所涉及的物理因素的明确知识允许人们获得该组图像的形状，这些依赖关系的数学形式的图片，和（如在像素强度的高维空间中的点）与相关联的同样的3D对象。如果一台机器捕获变量在数据中的统计变化，以及它们是如何相互作用以产生我们观察到的数据种类，我们将能够说，机器理解是指这些变化的因素覆盖的的世界。不幸的是，在一般情况和变化最底层的因素的自然图像，我们没有对分析这些变化因素的理解。我们没有足够形式化的关于世界的先验知识来解释所观察到的各种图像，即便是这样一个看似简单的抽象：MAN，像图1.1中那样。一个高层次的抽象，例如，MAN有一个性质，他相当于一个巨大的可能图像的集合，这可能非常不同于那些简单欧几里得距离中的像素点的属性。该组图像能够识别此标签可能是适当的形式在像素空间中的高度旋绕区域即甚至没有必要是一个连接区域。MAN类可以被看作是相对于图象的空间的高层次抽象。我们所说的抽象这里可以是一个类（如MAN类别）或特征，感觉数据的函数，它可以是离散的（例如，输入的句子是在过去时），或连续的（例如，输入视频显示了运动物体的移动是2米/秒）。对于构建MAN-探测器，许多较