LinkedIn 中的薄弱环节：在大语言模型时代提升假档案检测能力-计算机科学-大语言模型-虚假档案检测-对抗训练.pdf

LinkedIn中的薄弱环节：在大语言模型时代提升假

档案检测能力

ApoorvaGulati,RajeshKumar,VintiAgarwal,andAdityaSharma

BITSPilani,India

{vinti.agarwal,@pilani.bits-pilani.ac.in

BucknellUniversity,USA,rajesh.kumar@

本摘要大型语言模型（LLMs）使得在LinkedIn等平台上创建逼真的虚假档

案变得更加容易。这给基于文本的虚假档案检测器带来了显著的风险。在

译这项研究中，我们评估了现有检测器对由LLM生成的档案的鲁棒性。尽

中管在检测手动创建的虚假档案方面非常有效（误接受率：%），现有的

检测器无法识别出GPT生成的档案（误接受率：%）。我们提出使

1

v用GPT辅助对抗训练作为对策，将误接受率恢复到%，而不影响误

0拒绝率（%）。消融研究显示，基于组合数值和文本嵌入训练的检测

6

8器表现出最高的鲁棒性，其次是仅使用数值嵌入的检测器，最后是仅使用

6文本嵌入的检测器。对基于提示的GPT-4Turbo和人工评估者的补充分析

1.证实了需要像本研究中提出的那样稳健的自动化检测器。

7

0

5Keywords:虚假档案检测，大语言模型，对抗训练，领英

2

:

v

i

x1介绍

r

a

在线专业网络，如LinkedIn，在职业互动中扮演着关键角色，拥有超过

亿活跃用户，并产生了显著的经济活动[1]。然而，这些平台面临着来

自用于网络钓鱼、虚假信息和招聘欺诈的假档案日益增长的威胁[2,3]。大

型语言模型（LLMs）特别是GPT-3.5和GPT-4方面的最新进展简化了高

度逼真的假档案的创建，对现有的检测器构成了重大威胁[4,5]。在和

之间，LinkedIn上的虚假档案数量几乎翻了一倍[5]。基于提示的人类

和GPT-4的评估达到了适度的检测准确率（F1人类：%，F1GPT-zero

shot：%，F1GPT-fewshot：%，见第4.3节）。现有的检测方法，如

在[4]中提出的节和子节标签嵌入（SSTE），在对抗手动创建的虚假资料时

表现出色（F1%），但在对抗LLM生成的资料时却急剧失效（F1%）。

2ApoorvaGulati,RajeshKumar,VintiAgarwal,andAdityaSharma

为系统地应对这些挑战，我们提出了并解答了以下问题当前的检测

方法对由高级LLM生成的配置文件有多脆弱？使用LLM生成的配置文