1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种引入条件掩码对比学习的长句子嵌入方法和系统.pdfVIP

  • 5
  • 0
  • 约1.34万字
  • 约 13页
  • 2023-11-11 发布于四川
  • 举报

一种引入条件掩码对比学习的长句子嵌入方法和系统.pdf

    本发明提供了一种引入条件掩码对比学习的长句子嵌入方法和系统，属于自然语言处理领域。利用文本编码器将原始长句子文本主样本及其有监督对比样本进行编码得到词向量，利用信息聚合网络聚合词向量，计算对比损失函数；将主样本随机掩码后利用辅助网络编码，得到句法融合向量；拼接主样本的信息聚合向量和句法融合向量，并利用语义信息强化网络强化，得到掩码文本的掩码位置字词的概率分布，计算条件掩码损失函数；结合两项损失训练文本编码器、信息聚合网络、语义信息强化网络。本发明结合条件掩码损失函数强化了长句子文本的句子嵌入包含

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117034950 A (43)申请公布日 2023.11.10 (21)申请号 202311043051.8 (22)申请日 2023.08.18 (71)申请人 浙江大学 地址 310058

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >