高教社课件软件数据分析技术与应用第8章 - 8.4.3 安全缺陷报告分析一数据质量对模型性能影响分析.pptxVIP

数据质量对安全缺陷报告检测模型性能影响实证研究

2已有公开数据集中存在不少误标数据，成为导致模型性能无法提升的潜在关键因素。图4-1Chromium数据集中SBR被误标为NSBR的示例研究动机

研究内容3内容一：对已有的5个公开数据集的标签进行审核，形成新的数据集，称为Clean数据集；原来数据集称为Noisy数据集。内容二：将基准SBR检测方法在Noisy和Clean数据集上的有效性进行实验和对比。

数据标记方法4Codebook示例数据标记人员信息Clean数据标记方法资深软件安全人员进行数据审核。Codebook：以CWE定义的软件漏洞类型为基础，通过review已有SBRs提取Codebook，作为判断缺陷报告是否为SBR的准则。Cardsorting：每条数据3人独立审核，最后进行结果合并。

数据标记结果5

三个基准方法简单文本分类方法6Farsec[1]Shu,Rui,etal.Bettersecuritybugreportclassificationviahyperparameteroptimization.arXivpreprintarXiv:1905.06872(2019).[31]Peters,Fayola,etal.Textfilteringandrankingforsecuritybug