AI算法项目的测试探索PDF.pdfVIP

2018 深圳·测试沙⻰ 测试前瞻 The Test Salon AI算法项⽬的测试探索 凌欢欢 2018-05-12 ⽬录 CONTENTE 01 ⼈⼯智能的基本概念 02 机器学习的基本概念 03 算法项⽬的测试探索 04 算法测试学习⼊⻔ ⼈⼯智能 ⼈⼯智能的三个“能⼒” 知识运⽤能⼒ 学习能⼒ 不确定性处理能⼒ ⼈⼯智能的应⽤ ⼈⼯智能和机器学习的关系 机器学习的基本概念 机器学习 机器学习指机器通过统计学算法，对⼤量的历史数据进⾏学习从⽽ ⽣成经验模型，利⽤经验模型指导业务。 机器学习 机器学习的学习⽅式 监督学习 ⽆监督学习 半监督学习 强化学习 监督学习 训练结果 监督学习 为什么要花⼤量时间和⼈⼒成本去做数据标注？ • 监督学习的效果⼀般更好 • 标签代表了“先验证知识”，并给定了模型能⼒ 的“下界” 监督学习--分类 监督学习--回归 什么是模型 1, 4, 16… （）… 256… 括号⾥是什么？ 什么是模型 模型是从数据⾥抽象出来的，⽤来描述客观世界的数 学模型。通过对数据的分析，找到其中的规律，找到 的规律就是模型。 模型的持久化 机器学习项⽬测试 算法测试 模型评估 将学习⽅法对未知数据的预测能⼒称为“泛化能 ⼒” 名词解释 从数据中分析得到模型的过程称为“训练” ⽤于“训练”的数据称为“训练数据” 每个样本称为⼀个“训练样本” 训练样本组成的集合称为“训练集” 测试样本组成的集合称为“测试集” 模型在训练集上的误差通常称为 “训练误差” 或 “经验误差” 在测试集上的误差通常称为“测试误差” 在新样本上的误差称为“泛化误差” 性能度量指标 分类算法评价指标： Accuracy （准确率） Precision （精确率）、Recall （召回率）、F1 值 ROC、AUC 回归算法评价指标： MSE(均⽅误差) RMSE （均⽅根误差） MAE （平均绝对误差） R-Squared （拟合度） 准确率 对于给定的测试数据集，分类器正确分类的样本数与 总样本数之⽐ 实际 [1, 0, 1, 1, 1, 0, 1, 0, 0, 1] 预测 [0, 0, 1, 1, 1, 0, 1, 1, 1, 1] 准确率 70% 有个100条样本数据的测试集，其中80个正例，20个 反例。那如果模型把所有样本都预测为正例，那模型 的准确率⾄少都是80%。当模型遇到新样本时，它都 区分不出⼀个反例 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.