一种基于可学习提示的多模态实体识别和关系抽取方法.pdfVIP

  • 36
  • 0
  • 约1.85万字
  • 约 17页
  • 2023-12-02 发布于四川
  • 举报

一种基于可学习提示的多模态实体识别和关系抽取方法.pdf

本发明公开了一种基于可学习提示的多模态实体识别和关系抽取方法,属于多模态处理技术领域,步骤如下:基于获取的图像和文本,利用CLIP预训练模型,完成特征信息生成;利用Transformer编码器、对比学习辅助网络和Linear层神经网络,进行图文对齐;将获取的文本输入BERT嵌入模块,得到文本全部Token的编码;利用BERT编码器进行编码预测;构建概率预测ER矩阵;计算得到实体及实体间关系抽取损失;采用joint联合方式计算文本实体及实体间关系的概率,完成基于可学习提示的多模态实体识别和关系抽取

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117151223 A (43)申请公布日 2023.12.01 (21)申请号 202311423976.5 G06F 40/279 (2020.01)

文档评论(0)

1亿VIP精品文档

相关文档