通过少看学习更多： 线描预训练以实现高效、可迁移和符合人类认知的视觉能力.pdfVIP

通过少看学习更多：

线描预训练以实现高效、可迁移和符合人类认知的视觉能力

TianqinLi*,GeorgeLiu*,TaiSingLee

CarnegieMellonUniversity

{tianqinl,georgeli,taislee}@

Abstract

尽管计算机视觉取得了显著进展，现代识别系统仍然受

限于其对丰富、冗余的视觉输入的依赖。相比之下，人

类可以毫不费力地理解稀疏、最小化的表示形式，如线

描——这表明结构而非外观是高效视觉理解的基础。在

本这项工作中，我们提出使用线描作为优先结构预训练模

译式，以诱导更紧凑和更具泛化能力的视觉表示。我们展图1:预训练与线描导致高效、可迁移和类似人类的视

示了在线描上进行预训练的模型在分类、检测和分割任

中务中表现出更强的形状偏置、更集中的注意力和更高的觉表示。

1数据效率。值得注意的是，这些模型还表现出较低的内

v在维度，需要显著较少的主要成分来捕捉表示差异——构信息如形状和拓扑关系，而不是依赖不稳定的纹理

6或颜色。神经科学中的功能性磁共振成像研究支持这

9这与大脑中低维高效表示的类似观察相呼应。除了性能一观点，显示线条画在整个视觉皮层中引发稳健且类

6改进之外，线描预训练产生更具压缩性的表示形式，使

6更好地提炼出轻量级学生模型成为可能。从线描预训练别特定的活动模式——这与全彩照片引起的模式相当

0.教师模型提炼出的学生模型始终优于从彩色监督教师模(Waltheretal.2011)。类似地，Shinetal.(2008)也证

8型训练出的学生模型，突显了结构紧凑知识的好处。最明了抽象视觉符号如图标也能在大脑中引起与其对应

0

5后，我们展示了通过我们的方法“学习绘画”，可以将带自然图像相似的神经元激活。

2有线描的预训练扩展到无监督设置中。总的来说，我们心理证据进一步支持了在视觉学习中极简表示的

:

v的结果支持这样的观点：优先结构的视觉学习促进了效变革力量。研究表明，绘画练习可以提高人类的知觉

i率、泛化和与人类一致的归纳偏置——提供了一种简单

x技能和物体识别能力(Kozbelt2001;Chamberlainetal.

r而强大的策略来构建更强大且适应性更强的视觉系统。

a2019;PerdreauandCavanagh2015)。艺术家通过长时

间接触结构信息发展出专门的视觉认知——改善视觉

介绍记忆、增强结构分析和对诊断特征更精细的关注(Per-

尽管计算机视觉领域取得了显著进步，现代识别系dreauandCavanagh2015;Schlegeletal.2015)。这些改

统仍然受到对密集、高保真度视觉输入依赖的基本限进被认为与极简表示学习相关(PerdreauandCavanagh

制。最先进的模型，特别是基于深度卷积和变换器架2014)——通过消除分散注意力的表面特征，它迫使视

构的那些，在各种基准测试中展示了令人印象深刻的觉系统提取并编码更深且更稳健的结构关系。

效果。然而，它们的成功在很大程度上取决于