卷积神经网络的局限性.pdfVIP

卷积神经网络的局限性 经过一段漫长时期的沉寂之后，人工智能正在进入一个蓬勃发展的 新时期，这主要得益于深度学习和人工神经网络近年来取得的长足发 展。更准确地说，人们对深度学习产生的新的兴趣在很大程度上要归功 于卷积神经网络（CNNs ）的成功，卷积神经网络是一种特别擅长处理视 觉数据的神经网络结构。但是，如果有人告诉你卷积神经网络存在根本 性的缺陷，你会怎么看呢？而这一点是被誉为 “深度学习鼻祖 ”和 “神 经网络之父 ”的 Geoffrey Hinton 教授在 2020 年度人工智能顶级会议 – AAAI 大会上作的主题演讲中提出的，AAAI （译注：AAAI 全称为美国 人工智能协会 ）大会是每年主要的人工智能会议之一。Hinton，与 Yann LeCun 和 Yoshua Bengio 一起出席了这次会议，这三大深度学习巨头，图 灵奖的获得者，被业界并称为 “深度学习教父 ”。Hinton 谈到了卷积神 经网络（CNNs ）和胶囊网络的局限性，并提出这是他在人工智能领域的 下一个突破方向。和他所有的演讲一样，Hinton 深入探讨了许多技术细 节，这些细节使得卷积神经网络与人类视觉系统相比越来显得效率低下 而且不同。本文将会详细阐述他在大会上提出的一些要点。但在我们接 触这些要点之前，让 我们像 以 往 一样，了解 关 于人工智能的一些基 础 知 识 ， 以 及为什 么卷积神经网络（CNNs ）对人工智能社 区 来说如此 重 要的 背 景 和原 因 。 1.计算机视觉的解决方案 在人工智能的早 期，科 学家 们试 图创 造 出一种计 算 机 ，它 能像 人类一样 “看 ”世 界。这些努 力 导 致 了一个全新的研 究 领域的产生，这就 是计 算 机 视觉 。计 算 机 视觉的早 期研 究 涉 及 到符 号 人工智能 的使用 ，其 中的每 个规 则 都 必 须 由 人类程序 员 指 定 。但是问题在于，并不是人类视觉设 备 的每一个功能都 可 以 用 明 确的计 算 机 程序 规 则 来分 解 。所以 ，这种方法 的使用 率和成功率都 非 常 有限。另 一种不同的方法 是机 器 学习 。与符 号 人工智能相反 ，机 器 学习算 法 被赋 予 了一个通 用 的结构，并通 过对训 练 实 例 的检 验 来开 发 自 己的行 为能力 。然 而，大多数早 期的机 器 学习算 法 仍 然 需 要大量 的人工工，来设 计 用 来检 测 图像 相关 特征 的部 件 。 卷积神经网络（CNNs ），与以上两 种方法 不同，这是一种端 到端 的人工 智能模 型 ，它 开 发了 自 己的特征 检 测 机 制 。一个训 练 有素 的多层 次卷积 神经网络会 以一种分 层 的方式 自 动 识 别特征 ，从 简 单 的边 角 到复 杂 的物 体 ，如人脸 、 椅 子 、 汽 车 、 狗 等 等 。卷积神经网络（CNNs ）最 早 是在 20 世 纪 80 年代 由 LeCun 引入， 当 时他在多伦 多大学的 Hinton 实 验 室 做 博 士 后研 究 助 理。但是， 由于卷积神经网络对计 算 和数据的巨大 需 求 ，它 们被搁 置 了下来，它 在那 个时 间获得的采 用 非 常 有限。而后，经过三十 年的发展，并且借 助 计 算 硬 件 和数据存储 技术取得的巨大进步 ，卷积神 经网络开 始 充 分 发挥 其 强 大的潜 力 。今 天 ，得益于大型 的计 算 集 群 、 专 用 的硬 件 和海 量 的数据，卷积神经网络在图像 分 类和对象 识 别方面 已 经 得到了广 泛 而且有益的应 用 。 卷积神经网络的每一层 都 将从 输 入图像 中提取特定 的特征 。 2 卷积神经网络（CNNs ）与人类视觉的区别 在 AAAI 大会的演讲中，Hinton 指 出： “卷积神经网络（CNNs ）充 分 利 用 了端 对端 的学习方式 。事 实 证 明 ，如果一项 功能在某 个地方不错 ，那 么 在其 他地方也 会很不错 ，因 此他们赢 得了巨大的成功。这使得它 们可 以 结合 证 据，并很好 地在不同位 置 进行 泛 化 。然 而，它 们与人类的感 知 非 常 不同。 ”计 算 机 视觉的关 键 挑 战 之一是处理现 实 世 界中的数据差 异 。 我们的视觉系统可 以 从 不同的角