1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

基于多模态LLM的自动辅诊方法及其模型构建方法.pdfVIP

  • 16
  • 0
  • 约1.85万字
  • 约 15页
  • 2024-05-29 发布于四川
  • 举报

基于多模态LLM的自动辅诊方法及其模型构建方法.pdf

    本发明实施例公开了一种基于多模态LLM的自动辅诊方法及其模型构建方法。其中，自动辅诊方法包括：获取待诊断的多模态医疗数据，所述多模态医疗数据包括影像数据和文本数据；将所述影像数据经过图像编码切割器，根据物体边缘将所述影像数据分割为具有相互关系的至少一个独立物体图像；将分割结果经过图像‑语言转换层，将各独立物体图像及其相互关系转换为描述语言的嵌入向量；将所述文本数据经过文本编码器，得到所述文本数据的嵌入向量；将所述描述语言的嵌入向量和文本数据的嵌入向量融合后输入大语言模型，由所述大语言模型自回归地

    (19)国家知识产权局

    (12)发明专利申请

    (10)申请公布号CN118098564A

    (43)申请公布日2024.05.28

    (21)申请号202410189865.0G06N3/0495(2023.01)

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >