人类变异性与机器一致性：对人类和大型语言模型生成文本的语用分析-计算机科学-大语言模型-自然语言生成.pdf

人类变异性与机器一致性：对人类和大型语言模型生成文本的语用分析

12

SergioE.Zanotto,SegunAroyehun

1DepartmentofLinguisticsClusterofExcellence“ThePoliticsofInequality”

UniversityofKonstanz

sergio.zanotto@uni-konstanz.de

2DepartmentofPoliticsandPublicAdministration

UniversityofKonstanz

segun.aroyehun@uni-konstanz.de

摘要务。因此，出现了许多比赛和数据集来应对作

者归属（AA）(e.g.,Seroussietal.,2011;Ferracane

大型语言模型（LLMs）的快速发展显著提

etal.,2017;Sharmaetal.,2018;Uchenduetal.,

本高了其生成自然语言的能力，使得由LLMs2020)这一挑战。

译生成的文本越来越难以与人类撰写的文本

中区分。最近的研究主要集中在使用LLMs在这项研究中，我们利用了数据集(Wang

对文本进行分类，判断其是人工撰写还是etal.,2024b)，其中包括与人类写作对齐并由五

1机器生成。在我们的研究中，我们采用了个不同模型生成的文本：ChatGPT、Cohere、GPT-

v

5一种不同的方法，基于250个独特的语言

23.5(text-davinci-003)、BLOOMz-176B(Muen-

0特征来分析跨越四个领域的文本。我们选nighoffetal.,2023)和Dolly-v2Conoveretal.

3择了SemEval2024任务8的子任务B中的

0(2023)。该领域的普遍做法是应用大型语言模

.M4数据集。使用LFTK工具自动计算各种

2语言特征，并额外测量每个文档的平均句型（LLMs）进行分类任务，以区分人类和机

1

4法深度、语义相似性和情感内容。然后，我器生成的文本。尽管这些模型表现出最先进的

2

:们将所有计算出的特征进行二维PCA降维性能，但从人类角度来看，它们通常缺乏可解

v

i处理。我们的分析显示，在这些特征的变化释性。

x

r性方面，人类撰写的文本与由LLMs生成

a我们的研究旨在通过使用可解释特征来分

的文本之间存在显著差异，我们发现这种

析人类和大语言模型生成的对齐文本的语言