压缩技术对医疗领域大型多模态语言模型的影响.pdfVIP

压缩技术对医疗领域大型多模态语言模型的影响

∗†‡§

TanvirA.Khan,AranyaSaha,IsmamN.Swapnil,MohammadA.Haque

DepartmentofElectricalandElectronicEngineering,BangladeshUniversityofEngineering

andTechnology(BUET),Dhaka,Bangladesh.

摘要

多模态大型语言模型（MLLMs）在医学领域的应用潜力巨大，但其计算成本需要高效的压缩技术。本文评

估了结构剪枝和激活感知量化对用于医疗应用的微调LLAVA模型的影响。我们提出了一种新颖的层选择

方法进行剪枝，分析了不同的量化技术，并评估了剪枝-SFT-量化管道中的性能权衡。我们的方法使具有7B

参数的MLLMs能够在4GB的VRAM内运行，减少了70%的内存使用量，同时与相同压缩比下的传统剪

本枝和量化技术相比，模型性能提高了4%。

译Keywords:多模态大语言模型，模型剪枝，量化，监督微调

中

1

v

61介绍

7

9

1我们提出了一种统一且高效的管道，用于在特定领域环境中部署多模态大型语言模型（MLLMs），

2

.重点是皮肤科视觉问题回答（VQA）。实时临床工作流程需要低延迟模型，然而LLMs和MLLMs的大

7

0量内存和计算需求阻碍了它们在资源受限的边缘或云环境中的部署。

5为应对这些挑战，我们引入了一个集成结构剪枝、监督微调（SFT）和量化以满足特定任务需求的

2

:压缩管道。我们的方法首先通过结构化剪枝来移除冗余参数，在保持核心功能的同时减小模型大小。我

v

i们采用了一种新的层剪枝标准用于领域特定的应用。由于剪枝可能导致性能下降，因此我们利用SFT

x

r恢复特定任务的能力。在剪枝和微调之后，我们引入了感知激活权重量化技术，该技术能够显著提高

a

内存效率且几乎不影响性能。我们展示了传统无需校准的量化技术（如bitsandbytes[1],hqq[2]）无法

保留被剪枝的大规模语言模型的语言建模能力。

我们通过使用LLaVA（大型语言和视觉助手）[3]模型在皮肤科VQA任务上验证了我们的方法，

证明其对于皮肤病诊断的有效性。我们的结果表明，压缩后的MLLMs可以保持强大的性能，并且适

用于部署到真实世界临床环境中。

2相关工作

2.1多模态大型语言模型

大型语言模型（LLMs）在理解和生成跨多样领域的类人文本方面表现出色。这些模型通过大量文

本数据的训练，利用深度学习架构如变压器来捕捉复杂的语言模式。尽管它们在自然语言处理（NLP）

中取得了成功，但传统的LLMs仅限于基于文本的输入，限制了其在需要多模态理解领域[4]的应用。

为解决这一局限性，多模态大型语言模型（MLLMs）扩展了LLMs，通过整合多种数据模式，如图像、

音频和结构化的医疗数据，与文本一起使用。通过采用视觉-语言预训练技术，这些模型可以根据文本

和视觉信息进行解释并生成响应，在感知驱动任务中表现出高度有效性。在医疗保健领域，MLLMs可

1

以在医学影像解读、诊断辅助以及医患互动建模[5]方面发挥关键作用。它们可以分析皮肤图像、放射

扫描和病理切片，并交叉引用临床笔记以进行全面评估。此外，MLLMs增强了医疗聊天机器人和虚

拟助手的功能，提高了获取医疗信息的便利性和专业人员决策支持。通过弥合语言与视觉之间的差距，

这些模型有助于更准确且语境相关的医学诊断。随着MLLMs