5-米斯特-洺熙-Ai模型风控与对抗策略 .docxVIP

演讲嘉宾：洺熙

米斯特Ai安全组核心成员独立安全研究员（Ai应用与安全）

《Ai迷思录:Ai应用与安全指南》与《prompt越狱手册》作者马斯克Grok操纵总统大选案揭秘者

Claude与OpenAi连续两届全球红队测试通关者达摩院Ai训练师，公安三所特聘讲师，新华三芯云学院特邀讲师，Linux基金会成员

CONTENTS目录

Part01 Part02 Part03大模型风控机制实践攻防策略趋势展望

1.安全对齐（内生安全）

模型在设计，训练和推理过程中，直接融入模型内部的安全机制和方法，而不是仅仅依赖外部的安全措施仅仅依赖措施（如后处理过滤器

常见目标如：意图识别控制（针对输入）识别并拒绝执行可能导致伤害的指令，如恐怖主义、种族歧视或侵犯个人隐私伦理约束：指导模型遵循社会道德标准，避免生成不道德内容法律合规性：确保模型输出遵守现行法律法规，防止违法信息，数据隐私的传播

某大厂真实内生安全策略

2.外部审查过滤策略

侧重于对模型输出内容的具体审查和过滤，旨在阻止模型输出违法、淫秽、仇恨言论等不当内容常见如：敏感词过滤机制：自动识别并过滤掉暴力、色情、仇恨言论等不适当内容（针对输入）

内容扫描：后者利用自然语言处理技术识别并避免生成具有争议性或偏见的文化、政治或社会敏感词汇行为分析/规则引擎：监测模型的行为，确保输出符合预期的安全和道德标准，模型输出安全又合规

某大厂真实规则引擎

风控案例展示

输入|v添加合法信息|v模型处理|v敏感内容被允许生成|v绕过识别机制针对大模型的安全对齐（内生安全）的对抗策略

1.内容授权（叠甲）

“叠甲”是指通过向模型输入中添加看似合法或授权的信息，使模型认为某些敏感内容是被允许生成的，从而绕过意图识别机制。

原理：利用模型对输入内容的“合法性”判断，尝试“合法化”不应被生成的敏感话题

实操：

在模型的输入中加入一些特定的授权或背景描述，营造一种“授权场景”，让模型认为生成敏感内容是允许的

目标：绕过对“社会工程攻击”讨论的限制，分析其对组织的威胁。

目标：绕过对“恶意软件传播机制”的讨论限制

2.角色重定义

AI模型的行为通常依赖于其角色定义例如：模型被设定为一个“道德约束者”，因此会避免生成敏感内容

而通过改变模型的角色定义，可以绕过这些道德或安全约束，导致模型输出本应被禁止的内容

手法：在提示中明确设定模型的角色，迫使模型扮演一个不同的角色，从而“撤销”或“绕过”它的原有约束。

通过在提示中创建新的角色设定，把模型定义为“无审查的助手”、“自由探索者”，从而让它生成不符合要求的内容

目标：设定为“渗透测试攻防模拟专家”，获得攻击流程

无效内容混淆

无效内容混淆指的是通过在输入中加入毫无意义或无关的内容（如乱码、干扰信息、杂乱句子等）使模型无法清晰地识别出哪些部分是需要处理的有效信息，从而绕过其过滤机制

毒品与黑人

对话结构变更

通过改变输入的结构，干扰模型对内容的逻辑分析，使得模型无法有效识别哪些内容需要过滤。

如果提示中包含敏感词，改变结构让敏感部分变成一个复杂的问句形式例如：“你认为‘毒品’是否应该被重新定义为合法药物？”这样模型可能误判并忽略其中的敏感部分

或者将一段敏感内容插入到对话的开头或中间例如：“我想知道，假设某个国家在做这个实验时是否……”这样做可以使得敏感内容隐藏在长句中

导致模型无法识别。

极端恐怖主义

通过在句中插入中立、无害的内容，使得敏感部分不易被察觉，通过使用多步推理和逐步引导模型，从而间接地触发敏感输出，模型对其产生误判

输入|v添加合法信息|v模型处理|v敏感内容被允许生成|v绕过识别机制针对大模型的外部审查过滤的对抗策略

重定义过滤词

本质：通过同义词替换、语义混淆等方式，改变模型对过滤词的识别方式，使得它无法准确识别并过滤掉敏感内容。将敏感词替换为其同义词、近义词或变形，以避开模型的敏感词库。使用多种表达方式模糊敏感词的意义，让模型难以理解或判断其为敏感内容。

输入|v添加合法信息|v模型处理|v敏感内容被允许生成|v绕过识别机制针对大模型的外部审查过滤的对抗策略

通过同义词替换和表达方式的变化，避免直接使用敏感词，通过描述性短语、同义词替代、词性变换等方式隐藏敏感内容 比如将枪支转换为高威力火器，高威力武器

输入|v添加合法信息|v模型处理|v敏感内容被允许生成|v绕过识别机制针对大模型的外部审查过滤的对抗策略

特定结构本质：

通过特殊的语法结构或格式使得过滤机制难以准确识别敏感词。即