基于生成式AI大模型的图情文本摘要能力分析.pdfVIP

贵图学苑2024年第4期·贵财图情专硕专栏·

基于生成式AI大模型的图情文本摘要能力分析

范钟秀

（贵州财经大学信息学院，贵州贵阳550025）

【摘要】【目的/意义］本研究旨在评估生成式AI大模型在图书情报领域中生成摘要的性能及其影响。【方法/过程］

研究选取了图书情报的10个主题领域，并应用了ChatGPT3.5、ChatGPT4.0、ChatGLM4.0和ERNIEBot3.5等

多种大模型进行全文和片段摘要的生成实验。同时，通过提示工程实验分析了零样本和少样本学习对模型

表现的影响。实验结果通过ROUGE、BERTScore、G-EVAL和FactCC等自动评估指标和人工评估指标进行

了详细分析。［结果/结论］结果表明，ChatGPT4.0在多数任务中表现最为优异，其次为ChatGLM4.0和

ERNIEBot3.5。此外，大模型在全文摘要任务中的表现往往优于片段摘要，有效地提示工程能够显著提升模

型的能力，显著补充大型语言模型的不足，全面发挥其潜力将极大提高图书情报工作的效率。

【关键词】生成式AI大模型；自动摘要生成；提示工程；图书情报

AnalysisofLibraryandInformationTextAbstractionCapability

BasedonGenerativeAILargeModel

FanZhongxiu

(SchoolofInformation,GuizhouUniversityofFinanceandEconomics,Guiyang,Guizhou550025)

Abstract:ThisstudyaimstoevaluatetheperformanceandimpactofgenerativeAImodelsinthefieldoflibraryandinformation

science.Itselected10thematicareasoflibraryandinformation,andusedvariouslargemodelssuchasChatGPT3.5,ChatGPT4.

O,ChatGLM4.0andERNIEBot3.5togeneratefull-textandfragmentabstracts.Atthesametime,theimpactofzero-sample

andfew-samplelearningonmodelperformancewasanalyzedthroughengineeringexperiments.Theexperimentalresultswere

analyzedindetailthroughautomaticevaluationindicatorssuchasROUGE,BERTScore,G-EVALandFactCC.Theresultsshow

thatChatGPT4.0performsthebestinmosttasks,followedbyChatGLM4.0andERNIE3.5.Inadditionlargemodelsoftenper-

formbetterthanfragmentsummariesinfull-textabstractiontasks,effectivelyindicatingthatengineeringcansignificantlyim-

provethemode