视觉深度模型炼知技术.pdfVIP

专题：视觉感知

AI-VIEW

2024年第1期

视觉深度模型炼知技术

□/

文宋明黎

（区块链与数据安全全国重点实验室，杭州310027）

摘要：随着深度学习在计算机视觉领域的广泛应用，人们针对不同的计算机视觉任务训练积

累了大量的深度模型，如何对这些视觉深度模型进行按需定制、灵活可配的深度重组，从而

降低标注、训练、部署、运维成本，成为一个亟待解决的问题。针对视觉深度模型任务多样、

类型繁多、结构各异、数量庞大等特点，视觉深度模型炼知技术以面向灵活可配的视觉深度

模型重组研究为主线，按照由易而难，由特殊到一般的研究思路，对视觉深度模型重组相关

的同构模型深度重组、异构模型深度重组、深度模型可重组度量，以及视觉深度模型重组图

谱等关键技术展开研究。该技术将为低成本视觉深度模型定制、数据隐私与安全、深度学习

平民化，以及基于深度模型的知识分享与交易等应用提供算法基础和实现支持，具有重要的

理论价值和应用价值。

关键词：视觉深度模型复用；同构模型重组；异构模型重组；可重组度量；模型重组图谱

中图分类号：TP18文献标志码：A文章编号：2096-5036(2024)01-0024-21

DOI：10.16453/j.2096-5036.202408

0引言专业知识，掌握深度学习环节中的各个流程，

具有较高的使用门槛。然而，随着应用场景的

得益于数据规模、硬件水平的飞速发展，逐渐复杂多样，依赖于专家知识的模型训练难

目前深度学习已在计算机视觉[1-3]、自然语言以满足人们对深度模型灵活可配按需定制日益

处理[4]、语音识别等领域中得到了成功应用[5]，迫切的需求[7-9]。迄今为止，人们积累了大量

在推动人工智能技术同经济、社会发展的深度深度模型，但模型适应特定应用场景，模型复

融合方面潜力巨大。然而，随着各类深度模型用率极低，存在严重模型浪费问题[10]。近年来，

数量的爆炸式增长以及应用场景的多样化、复知识迁移已经成为深度学习的重要范式[11]，

杂化，当前“大数据+大标注深度模型”的方可以将模型在一个场景中学到的知识迁移到下

式，通常需要大量数据，诸多场景数据获取周游场景中。然而，传统迁移策略仍然依赖于数

期长，而且需要大量标注，标注成本高，因此据标注，且主要关注单个模型的知识迁移。实

通常面临着效率低、灵活性差的问题[6]。此外，际上，大规模预训练模型库通常涵盖了丰富的

现有的深度学习系统通常需要用户具备丰富的场景知识[12-14]，这些知识分散于不同的个体模

24

视觉深度模型炼知技术

型中，通过组合来自不同模型的知识可以更快1深度模型炼知技术的研究内容

速地构建针对下游任务的定制模型[15]。

为解决上述问题，笔者提出并发展面向灵按照由易到难、由特殊到一般的思路，人

活可配的深度模型重组相关的基础理论，通过们首先研究同构模型的深度重组，然后扩展到

“（模型模型）+数据(无/少标注)=定制化异构模型的深度重组，进而研究任意深度模型

模型”方式获得学生模型，解决“大量数据”“专之间的可重组度量，最后研究面向灵活可配的

业标注”与“模型浪费”问题，实现按需定制、深度模型重组图谱，如图1所示。

灵活可配的模型重用。模型炼知技术具有以下

四大特点。

保护数据隐私和安全：服务方只需提供训

练好的深度模型，无需提供原