测量度量标准：跨模型家族的表示相似性指标的判别能力.pdfVIP

测量度量标准：跨模型家族的表示相似性指标的判别

能力

1213

JialinWu,ShreyaSaha,YiqingBo,MeenakshiKhosla

1DepartmentofComputerScienceandEngineering,UCSanDiego

2DepartmentofElectricalandComputerEngineering,UCSanDiego

3DepartmentofCognitiveScience,UCSanDiego

SanDiego,CA92037

{jlwu,ybo}@,ssaha@,mkhosla@

本

译

中Abstract

2表示相似性度量是神经科学和人工智能中的基本工具，但我们缺乏对不同模

v

2型家族之间其判别能力的系统比较。我们引入了一个定量框架来评估表示相

2似性度量，基于它们在架构（CNNs、VisionTransformers、SwinTransformers、

6

4ConvNeXt）和训练方式（监督与自监督）上区分模型家族的能力。使用三种互

0补的可分离性度量——来自信号检测理论的d-prime、轮廓系数和ROC-AUC

.

9——我们系统地评估了常用的度量方法，包括RSA、线性预测性、Procrustes

0以及软匹配的判别能力。我们展示了随着度量施加更严格的对齐约束，可分

5

2离性系统性增加。在基于映射的方法中，软匹配实现了最高的可分离性，其

:次是Procrustes对齐和线性预测性。非拟合方法如RSA也跨家族显示出强

v

i的可分离性。这些结果提供了通过可分离性视角对相似性度量进行首次系

x

r统的比较，澄清了它们相对的敏感性和指导大规模模型与大脑对比中的度

a

量选择。

1介绍

表示相似性度量已成为理解深度神经网络的基本工具，使得跨架构、层甚至人工和生物视觉

系统之间的比较成为可能。该领域已经开发出多种量化表示相似性的方法，包括使用刺激对

刺激相似性矩阵在网络间进行比较的方法，如表示相似性分析（RSA），以及学习显式映射

以对齐神经维度的方法，例如线性可预测性、[1,2]保距变换和软匹配[3]。虽然这些度量标

准已经推进了我们对表示对齐的理解，但一个关键问题仍未得到探索：这些度量标准在区分

不同的模型族时效果如何？

当前的表示分析领域受到超过100种比较方法[4,5]片段化集合的阻碍，许多方法产生不明

确的结果。这种方法混乱有实际后果：新兴证据表明，在使用现有指标[6]评估时，CNN和变

换器之间的架构差异对大脑一致性的影响可以忽略不计，这提出了一个令人不安的可能性，

即我们的分析工具缺乏检测有意义模型差异的敏感性。该领域一直非常关注使用单一指标将

模型与脑数据进行基准测试，但我