CN119577073A 基于gpu的高io感知度长序列文本注入方法、介质及设备 （上海人工智能创新中心）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119577073A

(43)申请公布日2025.03.07

(21)申请号202411467985.9

(22)申请日2024.10.21

(71)申请人上海人工智能创新中心

地址200232上海市徐汇区云锦路701号

37、38层

(72)发明人苏中玲付蓉裴芝林张行程

(74)专利代理机构上海科盛知识产权代理有限

公司31225

专利代理师翁惠瑜

(51)Int.Cl.

G06F16/3329(2025.01)

G06F16/334(2025.01)

G06F18/22(2023.01)

G06N3/045(2023.01)

G06N3/084(2023.01)

G06F9/50(2006.01)

权利要求书2页说明书7页附图3页

(54)发明名称

基于GPU的高IO感知度长序列文本注入方

法、介质及设备

(57)摘要

CN119577073A本发明涉及一种基于GPU的高IO感知度长序列文本注入方法、介质及设备，所述方法包括：获取长序列文本输入并编码，通过多头注意力机制对经编码后的矩阵向量进行处理，实现文本注入，所述矩阵向量包括查询Q、键K和值V，其特征在于，所述多头注意力机制中，使用L2距离计算相似度，且进行前向传播时，将所述矩