ChatGPT可否充当情感专家——调查其在情感与隐喻分析的潜力.pdfVIP

北京大学学报(自然科学版)第60卷第1期2024年1月

ActaScientiarumNaturaliumUniversitatisPekinensis,Vol.60,No.1(Jan.2024)

doi:10.13209/j.0479-8023.2023.075

ChatGPT可否充当情感专家？

——调查其在情感与隐喻分析的潜力

1,213142,†

张亚洲王梦遥戎璐俞洋赵东明秦璟

1.郑州轻工业大学软件学院,郑州450002;2.香港理工大学护理学院,香港999077;3.郑州轻工业大学人事处,郑州450002;

4.中国移动通信集团天津有限公司人工智能实验室,天津3000201;†通信作者,E-mail:harry.qin@.hk

摘要为了探索ChatGPT情感分析能力以及对主观性和隐喻性理解的潜力,将ChatGPT在5个情感、幽默与

隐喻基准数据集上展开评估,通过与领域内最前沿的模型对比,讨论其在不同任务上的优势与局限。此外,

还通过对比ChatGPT与人类在情感分析中的性能差别,发现ChatGPT在情感、幽默与隐喻任务上与人类结果

分别相差9.52%,16.64%和6.69%。实验结果表明,尽管ChatGPT在对话生成方面获得最佳表现,但是其在情

感理解方面仍具有改进的潜力。最后,通过改善提示模板,调查ChatGPT在情感理解场景下对提示模板的

敏感性。

关键词ChatGPT;情感分析;幽默检测;隐喻识别

CanChatGPTBeServedastheSentimentExpert?AnEvaluation

ofChatGPTonSentimentandMetaphorAnalysis

1,213142,†

ZHANGYazhou,WANGMengyao,RONGLu,YUYang,ZHAODongming,QINJing

1.SchoolofSoftwareEngineering,ZhengzhouUniversityofLightIndustry,Zhengzhou450002;2.SchoolofNursing,

TheHongKongPolytechnicUniversity,HongKong999077;3.HumanResourcesOffice,ZhengzhouUniversity

ofLightIndustry,Zhengzhou450002;4.ArtificialIntelligenceLaboratory,ChinaMobileCommunication

GroupTianjinCo,Tianjin300020;†Correspondingauthor,E-mail:harry.qin@.hk