被算法控制的社会（三）.docxVIP

被算法控制的社会（三）

美国加州大学詹娜·布瑞尔马里恩·弗尔卡德；上海社会科学院杨泽凡/译

发布时间:2024-02-26

（一）算法不平等

在韦伯的分析框架中，最终塑造阶级（或阶级状况）的是财富和机会在各种制度领域内外的社会分配方式。无论算法如何分配奖励、机会或惩罚，它们都有能力改变个人的生活机会。算法机制实现这一目标的方式，主要是通过精确而理性地分配资源并通过其高效扩展的能力增加可能发生这种分配场所数量的方式。然而，通过这种方式，他们却暗自改变了社会阶级划分的过程。不同于以包容与排斥为基础（例如那些能获得信用与那些被排除在外的人之间的区分）的传统门槛机制，新的算法机制产生了一个滑动的分类情况，这个分类情况具有更加精细的职位差异化。例如，享有有利于信用风险评估的理想借款人将得到慷慨的信贷合同，不理想的借款人将面临深度高利率的合同，而位于两者之间的人将得到一系列或多或少有利的提议。与其完全排除不同，数字化因此可能促进各种形式的捕食性包容。由于这些常常会对

种族少数群体造成不平等，所以种族资本主义的熟悉过程正被数字时代重新塑造。

在理论上，算法分配被视为完美、准确和公平，但在实践中却存在多种问题。一个关键的问题是编码人员和模型构建者很少质疑他们使用的输入数据的质量，尽管模型构建中数据质量的问题正在得到解决。许多培训数据集生产时，对不同目标群体的代表性很少关注，他们或从用户或通过“众包”平台雇佣的工人获取的数据。例如，广泛使用的用于训练人脸识别系统的数据集，以及警务数据都很可能具有偏见和错误。这些错误和偏见会在领域内传播。就算警务数据被广泛应用于预测执法等领域，也并不意味着它们能够透明地反映犯罪行为。实际上，警方报告很可能反映制度化的自我呈现或个人和集体绕过官僚标准的策略。社会学家早就知道这一点，值得引起我们重视。正如奥尼尔（O’Neill）所指

出的那样，结果就是基于那些可能是警务实践而不是犯罪评估的小违规行为来形成风险预测模型。

在决策中，证明精算逻辑的一个重要前提是，“相信过去观察到的模式提供了关于未来可能发生的活动和事件的有用信息。”（28）但是在人类事务中，基于过去来预测未来的做法可能会进一步实化和再生产现有机构对待不平等的问题，并可能对其进行复制。由于人们的可见性受到数据收集引擎的社会组织的反对，数字编码成为种族、性别和阶级结构熟悉操作的新渠道。因此，针对有色社区的过度执法，再加上制度化的种族偏见的惯例，制定的犯罪数据集严重偏向于过度代表这些群体，并对这些群体的认知严重偏颇。社会服务资格自动化执法将最脆弱的家庭定罪，并使他们偏离他们应享受的福利。相反，针对主要以白人或主要以男性为数据集进行训练的算法可能根本无法看到被统治的群体。一个基于机器学习的算法审查工作申请者，发现了亚马逊存在男性招聘偏向的模式，并对包含女性候选人信号的申请给予低

分。

预测系统的其他陷阱，与概念不良或误用有关。虽然使用算法可以使决策更为客观，但这些系统中的目标函数往往反映出其他目标，尤其是机构成本优化和风险最小化。例如，一个被编程用于优化医疗支出的风险评估模型低估了黑人患者病情的严重程度，因为他们平均利用较少的医疗资源，则健康结果更差。（29）值得注意的是，通过动态调整的过程，机器学习模型也可能产生一种有害的反馈循环。例如，被预测的高犯罪区域或高风险个体将受到警方更多的关注，进而导致被逮捕率上升，并加剧对这些人的审查。类似地，对于黑人借款人来说，预测的更高信用违约率将导致贷款条件的不利，其结果是很可能导致更多的违约情况。此外，不成比例参与刑事司法系统以及不良的信用记录都会导致其他

社会成本，包括就业、教育或住房的障碍，进而进一步造成经济损害。预测分析的超级表现创造了一种自我实现的预

言，即使没有任何歧视意图，也会重复历史上的不利和结构性的不平等。

最后，这些种类的劣势，可能更难以在政治上争议。因为它们是通过对个人而非群体行为的测量来进行渠道化的，

所以它们被认为是公平的。而且，因为它们体现在数学公式中“被看作比之前的歧视系统更为客观或进步”，（30）因而可能更难被发现和挑战。但是，正如伯纳德·哈考特（BernardE.Harcourt）所指出的，将正义（和惩罚）简化为计算模型是根本性的问题。预测未来的犯罪行为过度决定了决策制定，而忽略了其他因素，如威慑、意图和伤害程度等。这

构成了对刑事司法的“认识扭曲”。（31）

公平性可能是当今机器学习领域最受争议的话题，这常常导致有关哪种统计标准最适合特定情况的复杂争论：假阴性与假阳性（falsenegativesversusfalsepositives）的争论，或者人口平衡性与预测率平衡性的争论。然而，有些批评者坚决