1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种用于大模型问答的文本分割检索方法.pdfVIP

  • 8
  • 0
  • 约1.18万字
  • 约 11页
  • 2024-02-24 发布于四川
  • 举报

一种用于大模型问答的文本分割检索方法.pdf

    本发明属于自然语言处理技术领域，具体涉及一种用于大模型问答的文本分割检索方法，包括：构建文本数据库和索引；获取待检索的文本数据；对待检索的文本进行分割处理；对分割后的文本数据进行嵌入处理和分词，对分词后的文本进行预处理，其中预处理包括去除停用词、拼音补充和同义词补充；通过文本数据库采用多种检索方式对预处理后的文本进行检索；采用重排模型对检索结果进行重排，得到最终的检索结果；本发明采用ANN算法和BM25算法分别对短句的嵌入向量、段落的嵌入向量以及段落进行比对排序，再根据段落ID对三种检索结果进行

    (19)国家知识产权局

    (12)发明专利申请

    (10)申请公布号CN117591635A

    (43)申请公布日2024.02.23

    (21)申请号202311759473.5G06N3/0455(2023.01)

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >