设计用于聊天机器人的心理测量偏见指标：在种族偏见测量中的应用.pdfVIP

设计用于聊天机器人的心理测量偏见指标：在种族偏

见测量中的应用

M.Benosman

AmazonRobotics

m_benosman@

Abstract

本人工智能（AI），特别是以大型语言模型（LLMs）或聊天机器人的形式，已经

译越来越融入我们的日常生活。在过去五年中，引入了几种LLMs，包括OpenAI

中的ChatGPT、Anthropic的Claude和Meta的Llama等。这些模型有可能应

用于广泛的人机交互应用程序，如信息检索的聊天机器人、协助公司招聘决

1策、大学录取、金融贷款审批、假释决定，甚至在医学领域通过聊天机器人

v

4进行心理治疗等。关键问题是这些聊天机器人是否会以无偏见的方式与人

2类互动，还是会进一步强化人与人之间已存在的病态偏见。如果是后者，那

3

3么如何严格测量这些偏见？我们旨在通过提出一个设计心理学度量的原则

1框架来评估聊天机器人的偏见，从而解决这一挑战。

.

9

0

51介绍

2

:

v

i人类的认知常常受到偏见的影响，这可能导致对他人产生有偏见的行为，例如Branscombe

x

randBaron[2017]。这些偏见的一些例子包括认知偏差，它们源自大脑用于高效处理信息的心

a理模式或启发式方法。虽然这些捷径通常能节省时间，但它们也可能导致错误的判断。示例

包括BerthetanddeGardelle[2023]：确认偏差，即个人倾向于支持与其信念一致的信息，以及

锚定偏差，即初始信息对决策的影响过大。易得性偏差是另一种常见的类型，其中生动或最

近的例子影响了概率的认知。从社会心理学的角度来看，人类偏见也可以被分类Branscombe

andBaron[2017]，它们根植于群体动态和人际关系中。内群偏差涉及偏好自己的群体，往往

导致优待自己人。相反，外群偏差可能导致对被视为不同的人进行刻板印象或歧视。这些偏

见在种族偏见或性别刻板印象等现象中显而易见，在工作场所、教育和医疗保健等各种背景

下可能延续不平等。

在人类中，这些偏见可以通过多种心理测量测试进行衡量。现代心理测量学，即心理测量的

科学，起源于19世纪末和20世纪初，源自更广泛的心理学和统计学领域Rustetal.[2021]。

其应用范围广泛，涵盖临床心理学、教育、组织行为和社会研究。在教育中，心理测量测试

评估学生的潜能和学习成果，而在临床环境中，它们用于诊断心理健康状况。心理测量学还

在揭示偏见方面发挥了关键作用，例如通过隐性联想测验（IAT）Greenwaldetal.[1998]来衡

量隐性偏见；通过认知反映测试（CRT）Toplaketal.[2011]评估个体在多大程度上依赖直觉

ThisworkhasbeendoneoutsideofAmazon.

39thConferenceonNeuralInformationProcessingSystems(NeurIPS2025)Workshop.

而非深思熟虑的推理；通过现代