1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种代码大模型的评测方法和装置.pdfVIP

  • 5
  • 0
  • 约1.62万字
  • 约 15页
  • 2023-12-09 发布于四川
  • 举报

一种代码大模型的评测方法和装置.pdf

    本说明书实施例提供了一种代码大模型的评测方法和装置，该方法包括：根据用于代码生成的测试问题，确定提示信息，将提示信息输入代码大模型，得到代码大模型的输出信息，从输出信息中提取代码文本；从代码文本中分离出执行代码和代码注释；编译执行代码，根据编译是否通过，确定编译通过率；若编译通过，针对执行代码执行对应的测试用例，根据测试用例是否通过，确定整体通过率；根据代码注释与代码注释对应的参考注释，确定语义相似度；根据编译通过率、整体通过率和语义相似度，确定综合评分。

    (19)国家知识产权局

    (12)发明专利申请

    (10)申请公布号CN117194258A

    (43)申请公布日2023.12.08

    (21)申请号202311197791.7G06N3/08(2023.01)

    (22)申请日2023.09.1

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >