AI测试：历史与发展-王若辉.pdf

ThenameoftheDepartment

BeijingForestStudio

部门名称

北京理工大学信息系统及安全对抗实验中心

AI测试：历史与发展

硕士研究生王若辉

2022年8月14日

内容提要

•背景简介

•历史发展

•应用总结

•参考文献

2

内容提要

•预期收获

–1.了解AI测试的发展历史

–2.掌握AI测试中4种常用测试技术

–3.明确实验室AI测试方向的研究空白

3

背景介绍

•自人工智能被提出，已经过60多年积

累与演进，在技术驱动和市场带动下，

取得了历史性进步

•在复杂领域

–图像识别

–语音识别

–入侵检测

–……

•表现出等同或远超于人类的性能而被

普遍应用于各类系统

4

背景介绍

•这在推动人工智能技术发展的同时也引起了人们对人工智能可靠性的关注。

–人工智能技术自身存在不少的缺陷

•模型的过拟合、欠拟合

•数据不平衡、数据污染

•框架或组件自身存在的漏洞

5

背景介绍

•这些缺陷将导致人工智能系统在正确性、鲁棒性、隐私性、公平性和效率等各

方面出现严重的问题。

–特别是在对安全至关重要的领域，如交通、医疗卫生、制造领域

–将直接对人的生命财产安全造成严重威胁

2022年5月，SpiceJet旗下一架波音7372022年8月，一辆开启了LCC车道居中

自动驾驶系统失灵，造成17人重伤辅助的小鹏P7在宁波高架行驶过程中与

前方一辆检查故障的车辆相撞6

背景介绍

•软件测试

–Softwaretestingreferstoanyactivitythataimstodetectthedifferencesbetween

existingandrequiredbehavior.(检测现有行为和所需行为之间差异)

–对人工智能系统进行测试，是人工智能系统开发环节中十分重要的一环

7

背景介绍

•人工智能系统测试-TestForAI

–测试属性-Whytotest?

–测试组件-What/Wheretotest?

–测试流程-Howtotest?

8

历史发展

历史发展

历史发展