大语言模型评测研究现状、应用、问题与趋势分析.pdfVIP

情报学报2025年8月第44卷第8期

JournaloftheChinaSocietyforScientificandTechnicalInformation,Aug.2025,44(8):1058-1074

DOI:10.3772/j.issn.1000-0135.2025.08.010

大语言模型评测研究现状、应用、

问题与趋势分析

1，21，21，2

赵雪，张海，王东波

（1.南京农业大学信息管理学院，南京210095；2.南京农业大学人文与社会计算研究中心，南京210095）

摘要大语言模型（largelanguagemodel，LLM）评测应包含于科学评价体系之中，探究大语言模型评测相关概念

内涵，理析其研究现状、应用、局限和趋势，以期推动大语言模型评测研究与应用。本文探讨大语言模型评测相关概

念内涵，全面追踪现有关大语言模型评测的研究进展，运用归纳法对现有研究进行分类，分析大语言模型评测研究的

现状、应用、局限及发展趋势。研究发现，评测基准已达上百种，涉及大语言模型的理解与生成、知识、伦理安全、

多模态等多方面能力。相关研究聚焦评测大语言模型的通用能力，并不断向垂直领域拓展，但目前存在评测体系亟待

建立、数据集丰富度不足、评测方法单一等局限。建立科学统一的评价体系、开展多模态评测研究、拓展垂直领域应

用评测、与用户研究相结合将成为未来大语言模型评测的前沿课题。

关键词大语言模型；科学评测；人工智能；评测基准；体系构建

ReviewofLargeLanguageModelEvaluationStudies:Current

Status,Applications,Challenges,andTrends

ZhaoXue1,2,ZhangHai1,2andWangDongbo1,2

(1.CollegeofInformationManagement,NanjingAgriculturalUniversity,Nanjing210095;

2.ResearchCenterforHumanitiesandSocialComputing,NanjingAgriculturalUniversity,Nanjing210095)

Abstract：Evaluatinglargelanguagemodels(LLMs)isintegraltoscientificevaluationframeworks.Thisstudydelvesinto

thecoreconceptsandimplicationsofLLMevaluationsandexaminesthecurrentstatus,applications,limitations,andfu‐

turedirectionstoadvanceresearchandapplicationsinthisfield.WetrackthelatestdevelopmentsinLLMevaluationstud‐

iesandanalyzethestatusquo,applications,constraints,andevolvingtrendsofLLMevaluations.Thefindingsrevealhun‐

dredsofbenchmarksforthecapacitiesofunderstandingandgeneration,