BGM-HAN：用于半结构化档案精确且公平决策评估的分层注意力网络-计算机科学-机器学习-大语言模型.pdfVIP

BGM-HAN：用于半结构化档案精确且公平决策评

估的分层注意力网络

JunhuaLiu,RoyKa-WeiLee,

andKwanHuiLim

SingaporeUniversityofTechnologyandDesign

ForthAI

j@forth.ai,roy_lee@.sg,kwanhui_lim@.sg

本高风险领域的人类决策通常依赖于专业知识和启发式方法，但容易受到

难以察觉的认知偏差的影响，这威胁到公平性和长期结果。

译本研究提出了一种通过集成层次学习及各种增强措施来提升复杂决策

中工作流程的新方法。以大学录取为一个典型的高风险领域为例，我们提出了

1BGM-HAN（增强的字对编码、门控多头分层注意力网络），旨在有效建模

v

2半结构化的申请数据。BGM-HAN捕捉多层次表示对于细致评估至关重要，

7提升了模型的可解释性和预测性能。在真实录取数据上的实验结果表明，我

4

7们的模型显著超越了从传统机器学习到大型语言模型的各种最新基准模型，

1

.为结构、语境和公平性至关重要的领域中的决策增强提供了一个有前景的框

7

0架。源代码可在以下地址获取：/junhua/bgm-han。

5

2

:

v1介绍

i

x

r高风险决策通常由依赖其领域知识和经验判断的人类专家负责[1]。然

a

而，这些决策容易受到认知和情感偏见的影响，包括锚定效应[11]和确认偏

差[9]，这些都是难以检测和缓解的[14]。解决这些偏见对于确保公平性、

透明度和长期可持续性至关重要，特别是在具有社会影响的领域中[10]。

为了减轻人类偏见，最近的研究探讨了将人工智能（AI）整合到人类决

策工作流程中。值得注意的方法包括公平意识的AI系统，引导用户做出更

公正的决定[26]，可解释的AI技术揭示潜在推理缺陷[11]，以及用于审核

社会偏见的人机协作框架[10]。

尽管取得了这些进展，此类系统的实际影响仍受到几个持续挑战的限

制。首先，认知偏差本质上依赖于上下文且具有隐性特征，这使得自动系统

难以检测和纠正它们[14]。其次，许多AI模型的解释能力有限削弱了用户

2J.Liuetal.

图1.所提出的BGM-HAN模型的架构。多级模型从标记到句子再到字段学习特征。在

每一层，数据将经过层标准化、多头自注意力(MHA)、门控残差连接(GRC)，以及均值

池化以形成更高层次的嵌入。然后将这些嵌入拼接并重塑为3D张量，以便继续进行下一

级处理。

信任，这是在高风险环境中尤其关键的问题[11]。第三，公开可用的、特定

领域的且对偏差敏感的数据集稀缺，这些数据集的缺乏通常是由于隐私或专

有约束所致，从而给实证进展带来了重大障碍[23]。

在这项工作中，我们通过以下贡献解决了这些限制：

1.我们介绍了模型BGM-HAN，该模型结合了Byte-PairEncoding、Gated

Resid