融合Finetuned-BERTopic和大模型的技术主题识别方法研究.pdfVIP

Informationstudies:TheoryApplication

InformationSystems189

Vol.48No.3(Mar.2025)

●张凯,杨敏纳,隗玲(山西财经大学信息学院,山西太原030006)

融合Finetuned-BERTopic和大模型的技术主题识别方法研究∗

摘要:[目的/意义]文章提出一种结合科技文本预训练语言模型微调的BERTopic和大模型的技术主题识别方法,

深入学习科技文本内容中蕴含的语义特征,从非结构化的科技文本中识别技术主题,并对其进行自动解读以归纳生成主

题标签,减少人工干预,进一步提升技术主题识别的确度与效度,为扩展和丰富技术主题识别研究方法体系提供理论与

工具支持。[方法/过程]采用PATSPECTER预训练语言模型对科技文本进行向量化表征,结合KeyBERT构建Fine-

tuned-BERTopic模型,建模技术词汇间的语义关联关系,抽取特定领域的技术术语,以技术术语为表征单位对科技文本

中蕴含的技术主题进行识别;使用GPT-4o大模型和提示工程对上述识别的技术主题内容进行自动评价并解读生成主题

标签;在此基础上,以生成式人工智能领域为例,验证本文方法的有效性。[结果/结论]实验验证表明,对比LDA主

题模型、Top2Vec、BERTopic等模型,文章提出的方法有效提高了技术主题识别的准确性,且可显著减少人工干预,实

现更高效的技术主题发现。

关键词:科技文本;技术主题识别;微调的BERTopic;大语言模型;生成式人工智能

DOI:10.16353/j.cnki.1000-7490.2025.03.022

引用格式:张凯,杨敏纳,隗玲.融合Finetuned-BERTopic和大模型的技术主题识别方法研究[J].情报理论与实

践,2025,48(3):189-198.

ResearchonMethodforTechnologyTopicIdentificationBasedonFinetuned-BERTopicandLargeLanguageModels

ZhangKai,YangMinna,WeiLing

(SchoolofInformation,ShanxiUniversityofFinanceandEconomics,ShanxiTaiyuan030006)

Abstract:[Purpose/significance]ThispaperproposesatechnologytopicidentificationmethodthatcombinesBERTopicmod-

elfinetunedwithscientificliteraturedomain-specificPre-trainedLanguageModelandLargeLanguageModel.Theproposedmethod

divesintolearningthesemanticfeaturescontainedinthecontentofscientificliterature,identifiestechnologytopicsfromunstruc-

turedscientifictexts,evaluatesandinterpretsthecontentofidentifiedtechnologytopicstogeneratetopiclabelsautomatically.By

reducingmanualinterventionandfurtherimprovingtheaccuracyandvalidi