AI安全新防线：从幻觉到系统性欺骗——对齐、扫描、防御全流程体系.pptxVIP

AISECURITYDEFENSESYSTEMAI安全新防线从幻觉到系统性欺骗——对齐、扫描、防御全流程体系

目录01AI安全挑战全景幻觉问题、系统性欺骗攻击、威胁图谱02对齐技术基础RLHF、ConstitutionalAI、DPO、对齐评估03红队测试与安全扫描红队方法、自动化扫描、漏洞分类04输入层防御Prompt注入、越狱攻击、输入过滤05输出层防御内容安全过滤、幻觉检测、事实核查06运行时监控与响应异常检测、审计日志、应急响应07行业实践案例OpenAI、Google、企业落地实践08未来趋势与战略建议监管趋势、技术演进、企业建议共8章·约45页·AI安全全流程防御体系

01AI安全挑战全景从无意的幻觉到有意的欺骗攻击，AI安全威胁正在快速演进。CHAPTER01·AISECURITYLANDSCAPE

第一章·AI安全挑战全景AI幻觉不是bug而是特性：大模型本质上是概率接龙，天然存在生成错误信息的倾向幻觉的四种类型类型表现与影响事实性幻觉编造不存在的事实、人物、引用逻辑性幻觉推理过程自相矛盾、因果错误指令性幻觉忽略用户约束、执行未要求的操作上下文幻觉长对话中遗忘早期上下文信息为什么幻觉难以消除1.训练目标不一致语言模型训练目标是预测下一个词，不是说真话2.知识边界模糊模型不知道自己不知道什么，缺乏元认知能力3.生成式本质模型是在创作