LLM与安全风险治理端到端解决校验缺失风险代码.docx

LLM与安全风险治理

端到端解决校验缺失风险代码

刘彦南

字节跳动无恒实验室安全工程师

页码

目录

1.安全风险治理的挑战与LLM机遇

2.基于LLM的风险代码识别与修复

3.实验结果与分析

4.讨论QA

安全风险治理的挑战与LLM机遇

页码安全风险治理的挑战

页码

事前低成本

理解业务

页码事前:如何比攻击者先行一步

页码

?但木桶理论让“攻守效率”不平等，使用相同的方法无法实现目标

1.风险治理时机左移:尽早解决风险

2.AIfor安全:“泛化能力”、“检测未知风险”

治理左移

AIDetection

提升发现效率?为什么能缓解木桶理论？

提升发现效率

?

为什么能缓解木桶理论？

页码风险形成逻辑：风险代码与漏洞

页码

?安全风险其实是一个过程而非瞬时状态，暨多层脆弱性构成的因果链路最终

缺失校验（风险代码）越权漏洞（漏洞）

缺失校验（风险代码）越权漏洞（漏洞）

导致了危害的发生。

早晚

左移的核心是解决更深层成因让治理风险更高效

页码治理深层风险代码的成本

页码

?修复成本成为瓶颈

及时且自动的修复风险来降低成本

及时且自动的修复风险来降低成本

1.风险代码实例数漏洞数

?风险代码是漏洞的必要条件

?难以压缩：解决时机前移、确认‘可利用性’和‘危害’难度大

2.现有面向漏洞的修复流程成本高昂

、漏洞工单复测解决?

、漏洞工单

复测

解决

业务确认安全人员确认

业务确认

安全人员确认

页码关键挑战：理解业务

页码

?业务场景定义了安全风险成因与危害，以‘校验缺失’风险代码为例

1.从业务代码中识别校验需求

?业务场景类型、函数功能语义

?变量结构定义、上下文函数定义

?支撑校验的CommonSense/客观关系知识

?值域/类型/模式校验需求

2.理解历史上不同校验需求对应的实现方式

?交易、评论、订单、UG

?组件、中间件、自定义代码、三方函数

理解业务逻辑和历史实现方式

理解业务逻辑和历史实现方式

页码Motivation:通过LLM端到端解决风险代码

页码

及时且自动的修复风险来降低成本

及时且自动的修复风险来降低成本

理解业务逻辑和历史实现方式从风险代码更加高效治理风险

理解业务逻辑和历史实现方式

从风险代码更加高效治理风险

?LLM的代码理解和分析能力：LLM模型本身掌握通用的代码语法、文本语义分析、甚至是简单数据流分析，同时具备多种代码理解能力。

?LLM对校验需求推断能力：LLM涌现的逻辑演绎推理能力，可结合历史代码从代码语义、注释语义、数据流等多角度信息合理推断校验需求。

?LLM的代码生成能力：多种LLM代码补全应用证明了其理解开发者意图的能力，可利用其代码生成能力实现校验代码生成补全、实现自动修复。

页码ShowCase

页码

?将原校验语句移除之后（不在训练集中），模型能够生成语义类似的校验语句，原代码为orderResp.GetAccount().Id，模型生成的为orderResp.UserId

?说明模型在“语义层面”进行补全，成功识别到代码来自“获取订单信息”场景，关联

‘需要对订单的属主与当前登录用户进行校验’需求，并生成校验代码

RiskyCodeLLM可在语义层面理解业务场景、分析校验需求并补全校验语句

基于LLM的风险代码识别与修复

页码任务目标

页码

?任务目标：对代码中缺失的If语句进行补全

导致可以越权获取任意订单没有对订单属主鉴权，

导致可以越权获取任意订单

风险校验缺失风险IfStatement缺失

风险

校验缺失风险

IfStatement缺失

if(boolean_expression){}

补全校验语句?经统计，在全部漏洞中，约18.09%的漏洞均与IfStatement校验语句缺失相关（在漏洞修复MR中新增关键IfStatement）

补全校验语句

补全鉴权校验，当请求订单不属于当前登录用户时，阻止获取订单

页码

整体框架

1.Pretraining：使用具备基础代码能力的开源LLM模型作为Base