焊接大语言模型评价方法.docVIP

GB/T13814—92

GB/T13814—92

PAGE

PAGE1

中国焊接协会发布XXXX-XX-XX实施XXXX-

中国焊接协会发布

XXXX-XX-XX实施

XXXX-XX-XX发布

焊接大语言模型的评价方法

Evaluationmethodsforweldinglargelanguagemodels

（征求意见稿）

（本稿完成时间：2025年10月30日）

T/CWAN0175—XXXX

GB/T13814—92

团体标准

ICS25.160.01

CCSJ33

CWAHB10001—2016

T/CWAN0175—XXXX

PAGEII

PAGEII

目录

TOC\o1-4\h\u15421前言 II

14141范围 1

210502规范性引用文件 1

95093术语和定义 1

58254焊接大模型概述 2

6485数据合规要求 3

159526技术要求 5

204597评估与测试 8

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中国焊接协会提出并归口。

本文件起草单位：。

本文件主要起草人：。

CWAHB10001—2016

T/CWAN0175—XXXX

2

PAGE6

焊接大语言模型评价方法

范围

本文件规定了焊接大语言模型（WeldLLM）的评价原则、评价维度与指标体系、数据集构建方法、评测流程、评分与等级划分方法、检验记录要求，并提供了评价报告格式。

本文件主要适用于以自然语言处理为核心的焊接大语言模型的评价，包括通用型大语言模型在焊接领域的能力评估，以及面向焊接领域开发的专用大语言模型性能测试与验证。同时也适用于焊接通用大语言模型的评价，也可作为核电、船舶、锅炉等专业领域构建行业专用焊接大语言模型评测试题、评测方法及结果应用的通用框架。

本文件不适用于对非自然语言处理类的焊接人工智能系统（如基于规则的专家系统、单纯的图像识别算法）的独立评价，但可为此类系统与LLM融合后的整体性能评估提供参考。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中、注日期的引用文件、仅该日期对应的版本适用于本文件；不注日期的引用文件、其最新版本（包括所有的修改单）适用于本文件。

GB/T3323焊缝无损检测射线检测

GB/T3375焊接术语

GB/T5185焊接及相关工艺方法代号

GB/T6417金属熔化焊接头缺欠分类及说明

GB/T11345焊缝无损检测超声检测技术、检测等级和评定

GB/T12467金属材料熔焊质量要求

GB/T19418钢的弧焊接头缺陷质量分级指南

GB/T20737无损检测通用术语和定义

GB/T45288人工智能大模型

术语和定义

GB/T3375和GB/T45288界定的以及下列术语和定义适用于本文件。

3.1

焊接大模型weldinglarge-scalemodel

可用于焊接工艺优化、焊接缺陷检测、焊接过程控制等基于大规模数据和人工智能技术构建的具有大规模参数和复杂结构的模型。

3.2

单模态monomodal

和焊接相关的文本、图像、音频的任意一种数据类型。

3.3

多模态Multimodal

和焊接相关的图文、图音、文音、或图文音的任意多种数据类型。

3.4

焊接数据WeldingData

与焊接过程相关的基础知识、多模态数据、焊接质量检测结果等。焊接多模态数据包括但不限于焊缝图像/视频、焊接电流、电压、焊速、焊枪摆幅、左侧停留时间、右侧停留时间、左摆速、右摆速、材料参数、热成像、熔池图像/视频、声发射信号等、环境温、湿度等。

3.5

数据标注

对焊接数据（如图像、视频、传感器信号）进行人工或半自动化标记，赋予其语义标签（如焊接质量合格、缺陷类型等）。

3.6

预训练Pre-training

在高质量焊接领域知识数据上对模型进行初步训练，以提取基础特征，后续通过微调适配焊接场景。

3.7

微调Fine-tuning

在预训练模型基础上，使用焊接领域优质小样本标注数据，提升模型在特定任务上的性能。

3.8

词元token

词元是指文本处理的最小语义单元，是模型输入、输出及计算的基本单位，通过是经过分词算法分割后的可处理的离散单元，通常情况下中文1token≈2汉字，英文1token≈4字母。

3.9

焊接大语言模型WeldLL