通过语言差异建模专家提问的专业性-计算机科学-人工智能-大语言模型.pdfVIP

通过语言差异建模专家提问的专业性

GiuliaD’AgostinoChung-ChiChen

UniversitàdellaSvizzeraitaliana,NationalInstituteofAdvanced

SwitzerlandIndustrialScienceandTechnology,

dagosgi@usi.chJapan

c.c.chen@

摘要如问题如何表述、背景如何情境化或礼貌如何

传达，可以决定一段话是否被认为是有见地且

专业性是专家沟通中一个关键但尚未充分

有效的，还是模糊和不专业的。这些微观层面

本探索的维度，尤其是在金融等高风险领域。的元素很难明确定义，但它们根植于语言结构

译本文探讨了如何利用语言特征来建模和评之中。

中估专家提问中的专业性。我们引入了一个我们主张这种以语言为基础的特征提供了

新的标注框架，以量化财务分析师问题中

1

v的结构和语用元素，如话语调节器、前言和一个有前景的发展方向。与其仅仅依赖于句子

9请求类型。使用人类编写和大型语言模型长度或词汇复杂度等表面指标，我们将重点放

4

2（LLM）生成的问题，我们构建了两个数据在问题的结构和语用属性上：前言的使用、嵌

0集：一个用于标注感知的专业性，另一个

2入式请求的类型、话语调节器的存在等等。这

.用于标注问题来源。结果显示，相同的语

7些元素不仅反映了被询问的内容，还体现了说

0言特征与人类判断和作者身份有很强的相

5关性，表明存在一种共同的风格基础。此话者如何定位自己与听众、主题以及领域交流

2

:外，仅基于这些可解释特征训练的分类器规范的关系。在这项工作中，我们探讨了这些特

v

i在区分专家编写的问题方面优于gemini-2.0征是否可以操作化以区分更专业和不太专业的

x

r和SVM基线模型。我们的研究结果表明，专家提问形式。我们开发了一个注释流程来提

a

专业性是一个可以通过语言建模捕捉的学取并量化一系列由语言动机的特征，并研究了

习通用结构。这些特征如何与人类对职业性的感知相关联。

为了评估其预测能力，我们引入了一个控

1介绍

制分类任务。具体来说，我们在匹配条件下检

专业性是高风险沟通场景中语言使用的一查由人类专家编写的问题是否可以可靠地区分

个重要但定义模糊的维度。无论是公司财务、医出由大型语言模型（LLMs）生成的问题。虽然我

疗咨询、法律访谈还是招聘流程，专家提问不们的最终目标是建模专业性，但这种基于来源