人工智能系统管理与维护 课件 7.2 测评方法.pptx

项目7 人工智能系统整体测评7.2 测评方法 AI CONTENTS目录测评方法概述1测评框架使用2 1测评方法概述整体测评要点主要测评活动 整体测评要点 整体测评要点依据中国人工智能开源软件发展联盟提出的《人工智能 深度学习算法评估规范》（AIOSS—01—2018）和实际开发测试工作经验，主要整体测评要点有：训练数据集质量算法模型构建质量 训练结果预测质量硬件及软件平台环境保障代码的正确性、功能扩展性 主要测评活动 主要测评活动 以人工智能系统中深度学习算法的测评为例，制定测评规则，设计深度学习算法相关的测评活动：算法功能实现代码正确性实现目标函数实现训练数据集影响软硬件平台影响环境数据影响算法功能代码规范性优化目标任务数据集样本大小深度学习框架差异应用场景差异任务指标代码可移植性模型拟合程度数据集样本切分操作系统差异应用服务质量响应时间代码漏洞模型损失率数据集样本均衡GPU/CPU资源差异用户体验差异算法复用性代码兼容性模型准确率数据集标注质量硬件构架差异应用市场环境 主要测评活动 人工智能系统测评示例人脸识别系统功能测评软硬件运行环境硬件设备：智能摄像头；操作系统：Linux （ CentOS 7）处理器：GPU Nvidia P4；软件环境：深度学习框架Tensorflow、Keras算法功能实现：摄像头捕捉影像，将不同视频帧进行预处理，之后发送给云端服务器中部署的人脸识别算法。人脸识别算法首先判断视频帧中是否包含人脸，如果不存在人脸，切换到下个视频帧；如果存在人脸，则判断是否存在遮挡以及是否为活体人脸；如果存在遮挡等干扰，返回除去遮挡物的信息提醒。如果人脸正常，算法判断人的身份，如果算法判断的概率在 99%以上，将判断结果发送给闸机，否则提示工作人员协助。正常运行环境场景：算法持续性接收摄像头前端传送的影像，有人接近摄像头，摄像头捕捉到影像，人脸识别算法判断身份，返回识别结果。异常应用环境场景：人脸存在如太阳镜、口罩等遮挡时的识别，用其他人的图片来请求人脸识别，无法识别为本人。 主要测评活动 人工智能系统测评示例人脸识别系统测评指标指标名称评估工作评估结果准确率人脸识别的查准率为95%。经过评审，是否达到可靠性要求。?通过□未通过完整性人脸识别的功能完整性为90%。经过评审，是否达到可靠性要求。?通过□未通过适用性人脸识别功能应用到考勤、登录、身份验证为95%。经过评审，是否达到可靠性要求。?通过□未通过响应时间人脸识别应用场景响应时间为3-5秒以内。经过评审，是否达到可靠性要求。?通过□未通过 2测评框架使用Python常用测试框架pytest测试框架pytest 测试框架安装与使用 Python常用测试框架 Python常见测试框架 人工智能系统开发语言-Python常见测试框架有：doctest、unittest、nose、pytest等。 doctest是一个 Python 发行版自带的标准模块，doctest 模块会搜索交互式会话的 Python 代码片段，然后尝试执行并验证结果。 unittest是Python内置的标准类库。它的API跟Java的JUnit、.net的NUnit，C++的CppUnit很相似。通过继承unittest.TestCase来创建一个测试用例。 nose是对unittest的扩展，nose自动发现测试代码并执行，nose提供了大量的插件，使得Python的测试更加简单。 pytest 也被称为 py.test，一般使用 pytest 指代这个测试框架，py.test 特指运行命令。 pytest 测试框架 pytest 测试框架pytest是 Python 的第三方单元测试框架，比自带 unittest 更简洁、高效，支持315种及以上插件，同时兼容 unittest 框架。 unittest 框架很容易迁移到 pytest 框架下，并不需要重写代码。pytest文档丰富，可通过pytest官网获得使用上的帮助。pytest官方文档地址：/en/latest/contents.html pytest 测试框架安装与使用 pytest 测试框架安装与使用（1）测试框架pytest安装 使用测试框架pytest前，需要先安装pytest。打开命令行，输入如下命令： pip install pytest 以上命令可能因为网络超时等原因导致安装失败，可以配置下载源，尝试以下命令： pip install pytest -i /simple/ --trusted-host pytest 测试框架安装与使用