使用情境覆盖方法针对基于视觉的 AI 系统进行鲁棒性需求覆盖率分析-计算机科学-人工智能-机器人-AI感知系统.pdfVIP

使用情境覆盖方法针对基于视觉的AI系统进

行鲁棒性需求覆盖率分析

stndrd

1SepeedehShahbeigi2NawshinMannanProma3VictoriaHodge

DepartmentofComputerScienceDepartmentofComputerScienceDepartmentofComputerScience

UniversityofYorkUniversityofYorkUniversityofYork

York,UnitedKingdomYork,UnitedKingdomYork,UnitedKingdom

Sepeedeh.shahbeigi@york.ac.ukma@york.ac.ukvictoria.hodge@york.ac.uk

ththth

4RichardHawkins5BodaLi6ValentinaDonzella

DepartmentofComputerScienceWMGSchoolofEngineeringandMaterialsScience

本UniversityofYorkUniversityofWarwickQueenMaryUniversityofLondon

译York,UnitedKingdomCoventry,UnitedKingdomLondon,UnitedKingdom

中richard.hawkins@york.ac.ukBoda.Li.4@warwick.ac.ukv.donzella@qmul.ac.uk

1

v

6

8摘要—基于人工智能的机器人和车辆预计能够在复杂且动传统安全工程通过识别危险并推导出明确的安全

9

2态的环境中安全运行，即使存在组件退化的情况。在这些系统要求来降低风险。在人工智能系统中，特别是在涉及

1.中，感知依赖于摄像头等传感器捕捉环境数据，然后由AI模型感知的系统中，由于输入空间的开放性以及它们在噪

7处理以支持决策制定。然而，传感器性能的退化直接对输入数据

0的质量产生影响，并可能损害AI推理能力。为所有可能的传感声和环境压力下的数据驱动性能，这种方法变得无法

5处理[2]。

2器退化场景指定安全要求会导致无法管理的复杂性和不可避免

:的漏洞。在这篇立场文件中，我们提出了一种新的框架，该框架为了解决这一问题，我们提出了一种结构化方法，

v

i将摄像头噪声因子识别与情境覆盖率分析相结合，以系统地揭示该方法限制了无限的输入空间，并系统地定义了操作

x

r基于AI感知系统的鲁棒性相关安全要求。我们特别关注汽车领环境中的变化（即AI组件运行时的一组环境和系统条

a

域中的摄像头退化问题。在现有的用于确定退化模式的框架基础

件）。这些情境变化构成了对AI组件稳健性要求的基

上，我们建议涉及领域、传感器和安全专家，并纳入操作设计域

规范来扩展退化模型，包括与AI性能相关的噪声因子。然后应础。基于先前使用P-Diagram框架分类相机噪声因素

用情境覆盖率分析来识别代表性的运营环境。这项工作标志着向的工作[3]，我们扩展这一基础以支持系统的稳健性推

整合噪声因子分析和情况覆盖以支持鲁棒性要求的原则制定和导。我们采用了情况覆盖框架[4]，并非用于生成测试

完整性评估迈出的初步步骤。用例，而是用来正式表示运行条件恶化空间并指导稳健

IndexTerms—需求提取，