面向大语言模型的词向量生成方法、电子设备及存储介质.pdfVIP

  • 15
  • 0
  • 约1.49万字
  • 约 9页
  • 2023-11-25 发布于四川
  • 举报

面向大语言模型的词向量生成方法、电子设备及存储介质.pdf

本发明涉及计算机技术应用领域,提供了一种面向大语言模型的词向量生成方法、电子设备及存储介质,包括:获取待分词的文本,作为目标文本;对目标文本进行分词处理,得到对应的分词集S;基于预设词向量基准表T,获取每个词在每个嵌入矩阵的特征向量;基于预设滑动窗口长度d,将S划分为多个语句片段,得到对应的语句片段集SP;对每个语句片段的特征向量进行融合,得到对应的特征向量;得到SP对应的特征向量F作为目标文本的特征向量。本发明在词向量生成过程中,将多个相邻的词组合视为一个词,能够使得分词的长度得到极大的压缩。

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117113990 A (43)申请公布日 2023.11.24 (21)申请号 202311374453.6 (22)申请日 2023.10.23 (71)申请人 北京中科闻歌科技股份有限公司 地址

文档评论(0)

1亿VIP精品文档

相关文档