CN120278575A 一种基于动态对抗演化的大模型多维度自动化评估方法 （新大陆数字技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120278575A(43)申请公布日2025.07.08

(21)申请号202510258247.1

(22)申请日2025.03.06

(71)申请人新大陆数字技术股份有限公司

地址350015福建省福州市马尾区儒江西

路1号

(72)发明人施建叶欣杰吴晟海杨云凡朱慧娟邹国斌

(51)Int.CI.

GO6Q10/0639(2023.01)

GO6Q10/10(2023.01)

GO6Q10/0635(2023.01)

GO6N3/045(2023.01)

GO6N3/0475(2023.01)

GO6N3/094(2023.01)

GO6N3/092(2023.01)

GO6N3/126(2023.01)

G06Q10/04(2023.01)

GO6F30/20(2020.01)

权利要求书3页说明书12页

(54)发明名称

一种基于动态对抗演化的大模型多维度自动化评估方法

(57)摘要

CN120278575A本发明公开一种基于动态对抗演化的大模型多维度自动化评估方法，其特征在于，包括以下步骤：动态对抗样本生成：通过对抗演化算法生成多模态对抗样本，包括文本、图像和语音数据，模拟真实环境中的恶意攻击模式，触发大模型的潜在漏洞；多维度评估指标体系构建：构建包含多维度的量化评估体系，通过动态权重分配算法，自动适配不同行业需求，生成定制化评估报告；自动化压力测试迭代：在模型开发阶段嵌

CN120278575A

CN120278575A权利要求书1/3页

2

1.一种基于动态对抗演化的大模型多维度自动化评估方法，其特征在于，包括以下步

骤：

动态对抗样本生成：通过对抗演化算法生成多模态对抗样本，包括文本、图像和语音数据，模拟真实环境中的恶意攻击模式，触发大模型的潜在漏洞；

多维度评估指标体系构建：构建包含多维度的量化评估体系，通过动态权重分配算法，自动适配不同行业需求，生成定制化评估报告；

自动化压力测试迭代：在模型开发阶段嵌入持续评估模块，结合强化学习技术，根据测试结果自动生成优化策略。

2.根据权利要求1所述的一种基于动态对抗演化的大模型多维度自动化评估方法，其特征在于，还包括：合规性审查接口集成：提供标准化API接口，与第三方监管平台无缝对接，实时输出模型在隐私保护、伦理规范的合规性量化结果，满足行业准入审查要求。

3.根据权利要求1所述的一种基于动态对抗演化的大模型多维度自动化评估方法，其特征在于，所述动态对抗样本生成步骤包括：

多模态对抗样本生成：集成多种对抗攻击算法，至少包括FastGradientSignMethod(FGSM)、CarliniWagner(CW)攻击、DeepFool,生成文本、图像、语音多种数据类型的对抗样本；

行业场景模板库构建：根据行业特点构建对抗场景模板库，动态更新模板库，确保其适应最新的威胁环境；

动态演化策略引擎：通过实时监控模型对对抗样本的响应，动态调整对抗样本的生成策略，逐步增强其攻击性，实现多目标优化；

可解释性保障与溯源：记录对抗样本生成过程的所有相关参数和过程信息，确保生成过程的透明性和可追溯性。

4.根据权利要求1所述的一种基于动态对抗演化的大模型多维度自动化评估方法，其特征在于，所述多维度评估指标体系构建步骤包括：

鲁棒性评估：通过对抗样本攻击验证模型的稳定性，评估模型在对抗干扰下的准确率下降程度；

公平性评估：测试模型在不同用户群体中的分类准确率差异，确保模型对所有群体的公平对待；

可解释性评估：利用可视化技术分析模型的注意力分布，评估其对输入特征的关注程度，确保模型决策过程的透明度和可理解性；

响应一致性评估：测试模型在不同输入和应用场景下的输出一致性，确保模型表现稳定。

5.根据权利要求1所述的一种基于动态对抗演化的大模型多维度自动化评估方法，其特征在于，所述自动化压力测试迭代步骤包括：

评估结果分析：接收多维度评估指标体系生成的评估报告，深入解析模型在各维度上的具体表现得分及风险等级标识；