打开黑箱：通过语义共振架构实现可解释的 LLMs.pdfVIP

打开黑箱：通过语义共振架构实现可解释的LLMs

IvanTernovtsii

DepartmentofInformationTechnologies

UzhhorodNationalUniversity,Ukraine

HengeBytes

ivan.ternovtsii@.ua

/ITernovtsii/semantic-resonance

Abstract

本

译大型语言模型（LLMs）表现出卓越的性能，但仍然难以解释。专家混合（MoE）

中模型通过稀疏激活提高效率，但通常依赖于不透明的学习门控函数。虽然基

于相似性的路由（余弦路由器）已被探索用于训练稳定化，其固有可解释性

1

v的潜力仍未得到充分利用。我们引入了语义共振架构（SRA），这是一种设计

5为确保路由决策具有内在可解释性的MoE方法。SRA用语义共振室（CSR）

5模块替换了学习门控，并基于与可训练的语义锚点的余弦相似性进行令牌

2

4路由。我们还介绍了一种新颖的离散损失，以鼓励锚点之间的正交性，从而

1强制执行多样化的专业化。在WikiText-103上的实验表明，SRA实现了验证

.

9困惑度为13.41，在匹配的活跃参数约束（29.0M）下优于密集基线（14.13）

0

5和标准MoE基线（13.53）。至关重要的是，SRA表现出更优的专家利用率

2（1.0%死亡专家对比标准MoE中的14.8%），并发展出不同的、语义连贯的

:

v专业化模式，与在标准MoEs中观察到的噪声专业化不同。这项工作确立了

i

x语义路由作为一种建立更加透明和可控的语言模型的强大方法论。

r

a

1介绍

大型语言模型（LLMs）的迅速发展彻底改变了自然语言处理[1,3]。然而，这些模型的不透

明性在需要可解释和可控决策的关键领域中部署时带来了重大挑战[12]。

专家混合（MoE）架构通过有条件地激活参数子集来解决密集模型的计算低效问题[13]。然

而，标准方法，如SwitchTransformer[6]和GShard[10]，依赖于学习到的门控函数（通常是

简单的线性层），其决策过程仍然不透明。

最近的工作探讨了替代路由机制，包括基于余弦相似度的路由（余弦路由），主要是为了提

高训练稳定性和负载均衡[2]。虽然这些方法在稳定化方面有效，但它们并未侧重于利用这

种机制实现固有的可解释性或强制一致的专业化。

我们提出了语义共鸣架构（SRA），这是一种利用语义相似性进行路由的方法，特别设计用

于增强可解释性。我们的关键技术——语义共鸣室（CSR）根据标记表示与每个专家相关联

的可学习语义锚点之间的余弦相似性将标记路由到专家。为了确保这些锚点捕捉多样化的概

念，我们引入了分散损失，以积极促进锚点间的正交性。

Preprint.

该机制提供了显著的优势：

1.内在可解释性：路由决策可以直