原创力文档- 20
- 0
- 约1.63万字
- 约 16页
- 2023-11-18 发布于四川
- 举报
本发明提出一种医疗模型的参数高效微调方法和系统。其中，方法包括：收集医疗数据的数据集，并划分为训练集和测试集；以残差链接的形式，将卷积归纳偏置模块引入到Transformer模型，得到改进的Transformer模型，作为大模型；应用所述训练集对所述改进的Transformer模型进行预训练；应用所述测试集，通过微调卷积归纳偏置模块得参数，实现在低数据条件下微调预训练后的大模型。本发明提出的方案能够实现在低数据条件下微调预训练大模型，解决医疗场景中微调数据量少和域信息差距大的问题。
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 117077541 A
(43)申请公布日 2023.11.17
(21)申请号 202311317002.9
(22)申请日 2023.10.11
(71)申请人 北京芯联心科技发展有限公司
地址
文档评论（0）