原创力文档- 0
- 0
- 约1.02万字
- 约 10页
- 2023-12-09 发布于四川
- 举报
本发明公开了一种基于多语言图片文字描述数据的多模态模型预训练方法，其包括以下步骤：对训练数据集的原始文本信息内容进行翻译；对不同语言的文本信息分别进行掩码后输入到对应的文本编码器中预测被掩码的词，并计算被掩码的词和预测的词的交叉熵损失，对所有交叉熵损失求平均值作为最终的文本掩码损失；通过文本编码器产生各语言的文本信息对应的表征向量，再将多语言特征映射到统一的语义空间，得到多语言对比损失；通过图像编码器获得图像表征，进而计算图文对比损失；将三种损失叠加获得多模态模型的训练总损失；多模态模型通过反向
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117196061A
(43)申请公布日2023.12.08
(21)申请号202311051719.3G06V10/774(2022.01)
您可能关注的文档
- 一种混合K边吸收-X射线荧光分析方法和设备.pdf
- 一种钢结构涂层检测方法及检测装置.pdf
- 视频编码方法、装置、计算设备和存储介质.pdf
- 一种可用于关节弯曲检测的光纤角度传感器.pdf
- 一种聚集型油水分离器.pdf
- 面向电力物联系统的路由和边缘计算设备选择方法及装置.pdf
- 一种基于微流控体系的HK-2细胞培养模型及其构建方法和应用.pdf
- 车辆及其控制方法、控制装置.pdf
- 发动机的控制方法、装置、电子设备及可读存储介质.pdf
- 一种组合式钢桁架楼承板体系及施工工艺.pdf
- 伟明环保-市场前景及投资研究报告-境内业务稳健运行，印尼市场贡献边际增量.pdf
- 桂东县法院系统招聘考试真题2025.pdf
- 贵州省黔南布依族2026年中考三模物理试题及答案.pdf
- 贵州省黔南州2026年中考语文二模试卷附答案.pdf
- 贵州省铜仁市2026年中考语文二模试卷附答案.pdf
- 2026上半年安徽事业单位联考合肥市庐江县招聘36人备考题库及一套完整答案详解.docx
- 贵州省毕节市2026年中考语文一模试卷附答案.pdf
- 贵州省贵阳市南明区2026年中考语文一模试卷附答案.pdf
- 2026上半年安徽事业单位联考合肥市庐江县招聘36人备考题库及一套参考答案详解.docx
- 贵州省贵阳市白云区2026年中考二模物理试题附答案.pdf
文档评论（0）