CN119623522A 大模型低秩自适应层权重矩阵微调方法 （吉林省吉林祥云信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119623522A

(43)申请公布日2025.03.14

(21)申请号202411589036.8

(22)申请日2024.11.08

(71)申请人吉林省吉林祥云信息技术有限公司

地址130000吉林省长春市南关区吉视传

媒信息枢纽中心B座20层

(72)发明人赵阳王振鑫刘鸿儒贺亮

宋进杜宛泽张俊鹏徐光洋

(74)专利代理机构长春众邦菁华知识产权代理

有限公司22214

专利代理师常鑫桐

(51)Int.Cl.

G06N3/0455(2023.01)

G06N3/063(2023.01)

G06F17/16(2006.01)

权利要求书2页说明书3页附图2页

(54)发明名称

大模型低秩自适应层权重矩阵微调方法

(57)摘要

CN119623522A本发明属于深度学习的大模型技术领域，为了降低低秩自适应方法中低秩权重矩阵相乘过程中的计算复杂度，优化训练模型所需的算力和内存要求，本发明提出一种“大模型低秩自适应层权重矩阵微调方法”，通过将两个低秩权重矩阵分别复制拼接后相加或者将两个低秩权重矩阵分别划分为子矩阵后逐一相加子矩阵，相比于将两个低秩权重矩阵相乘的方式，能够降低矩阵低秩分解的计算复杂度，同时还能提升低秩权重矩阵的秩