CN119848553A 一种煤矿垂直领域大模型的构建方法及装置 （北京龙软科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119848553A

(43)申请公布日2025.04.18

(21)申请号202510323917.3

(22)申请日2025.03.19

(71)申请人北京龙软科技股份有限公司

地址100190北京市海淀区中关村东路66

号世纪科贸大厦C座2106室

(72)发明人杨梦陈宁张鹏鹏毛善君

(74)专利代理机构北京润泽恒知识产权代理有限公司11319

专利代理师苏培华

(51)Int.Cl.

G06F18/214(2023.01)

G06F40/289(2020.01)

G06F40/30(2020.01)

权利要求书3页说明书18页附图2页

(54)发明名称

一种煤矿垂直领域大模型的构建方法及装

置

(57)摘要

CN119848553A本发明提供了一种煤矿垂直领域大模型的构建方法及装置，涉及深度学习技术领域，所述方法包括：获取领域语料库数据和通用语料库数据，并分别基于领域语料库数据和通用语料库数据构建领域词表和通用词表；将通用词表和领域词表中的各个分词，基于各自的权重进行加权融合，得到融合词表；基于融合词表，利用领域语料库数据和通用语料库数据对嵌入模型进行训练；加载预训练的原始大语言模型，并将训练完成的嵌入模型替换至原始大语言模型的嵌入层，