原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
多模态特权知识蒸馏在两种基于视觉变压器的诊断应
用中的有效性研究
SimonBaur*,AlexandraBenova,EmilioDolgenerCantú,Jackie
Ma
FraunhoferHeinrich-Hertz-Institut,10587Berlin,Germany
UniversitätOsnabrück,49074Osnabrück,Germany
simon.baur@hhi.fraunhofer.de
本
译摘要在临床实践中部署深度学习模型通常需要利用多种数据模式，如图
像、文本和结构化数据，以实现稳健且可信赖的决策。然而，并非所有模
中式都在推理时始终可用。在这项工作中，我们提出了多模态特权知识蒸馏
1（MMPKD），这是一种训练策略，它利用仅在训练期间可用的额外模式来
v指导单一模式视觉模型。具体而言，我们在胸部X光片（MIMIC-CXR）中
8
5使用了基于文本的教师模型，在乳腺摄影图像（CBIS-DDSM）中使用了基
5于表格元数据的教师模型，将知识蒸馏到一个视觉变换器学生模型中。我们
6展示了MMPKD可以提高生成的关注图在输入图像中零样本定位ROI的
0
.能力，然而这种效果并不跨领域泛化，这与先前的研究所暗示的情况相反。
8
0
5Keywords:变换器·多模态·胸部X光片·乳腺摄影·可靠性。
2
:
v
i
x1介绍和方法
r
a
深度学习模型在医学应用中的典型任务是对图像（例如胸部X光片）
进行分类以找到诊断结果。实际上，临床专业人员会在诊断后编写一份报
告，其中包括额外的信息。因此，和共享一个共同的标签，但只
有当诊断模型可以有效部署时才可获得。因此，可以被认为是特权信息
（PI）。通过特权信息的知识蒸馏（KDPI）[6,7]已经证明在单模态情况下是
有效的。我们将KDPI扩展到反映所描述的多模态设置，从而得到多模态特
权知识蒸馏（MMPKD），并评估其在两个临床实际任务中的表现：胸部X
光[4]和乳腺癌[5]分类。我们评估了视觉变压器注意力图对ROI定位的能
力，先前的研究承认它们的解释潜力[8]以及定性热图评估的陷阱[1,3]。我
们的贡献可以总结如下：
2SimonBauretal.
–我们展示了MMPKD能够显著提高变换器通过注意力图在输入图像中
定位ROI的零样本能力。
–我们证明了，在评估关键特征的定位时，注意力图总体上仍然受到高标
准差的影响。
–我们展示了MMPKD在真实世界医疗应用中的有效性高度依赖于数据
集和其他局部条件。
在MMPKD的第一步中，教师模型在上进行训练以预测。在第
二步中，被冻结，其预测结果作为软标签来指导学生模型。软标签
您可能关注的文档
最近下载
- 专业Latex文档翻译 + 关注
-
实名认证服务提供商
专业Latex文档翻译，完整保持文档排版，完美处理文档中的数学公式和图表等元素，并提供 arXiv Latex 论文中文翻译。
文档评论（0）