原创力文档- 3
- 0
- 约2.07万字
- 约 17页
- 2024-03-30 发布于四川
- 举报
本发明涉及一种多模态模型的训练及图像分类方法和装置，将各目标图像分别对应的可学习的提示词向量，经过多个适配器投影，得到丰富语义的多个文本支持特征向量，丰富了单一文本特征向量的语义表达，更具泛化性与鲁棒性。并基于多个文本特征向量，得到各类别的分类超平面，从而实现图像与文本之间的点对面映射，从而可以使基于各类别的分类超平面进一步确定的损失函数，训练得到最终的提示词向量和多个适配器，使基于训练好的提示词向量进行图像分类时，提高多模态模型的泛化能力，分类准确率更高。基于分类超平面之间的平面夹角确定损失函
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117788878A
(43)申请公布日2024.03.29
(21)申请号202311606846.5
(22)申请日2023.11.28
(71)申请人北京邮电大学
地址100876
文档评论（0）