人工智能预测的评估方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110826908 A (43)申请公布日 2020.02.21 (21)申请号 201911075283.5 (22)申请日 2019.11.05 (71)申请人 北京推想科技有限公司 地址 100085 北京市海淀区上地信息路12 号1幢4层B401室 (72)发明人 高小芳　王少康　陈宽　 (74)专利代理机构 北京布瑞知识产权代理有限 公司 11505 代理人 黄俊 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 10/04(2012.01) G06N 20/00(2019.01) 权利要求书2页 说明书11页 附图5页 (54)发明名称 人工智能预测的评估方法、装置、存储介质 及电子设备 (57)摘要 本申请公开了一种人工智能预测的评估方 法、装置、计算机可读存储介质以及电子设备，通 过将测试数据输入待评估的人工智能模型得到 预测结果，然后比对该预测结果与测试数据的标 准结果，以得到该待评估的人工智能模型的评估 结果，并且该预测结果与标准结果都包括多个参 数指标，可以综合评估该待评估的人工智能模 型，避免单个参数指标造成评估结果不全面和不 客观，进一步提高评估的准确性。 A 8 0 9 6 2 8 0 1 1 N C CN 110826908 A 权　利　要　求　书 1/2页 1.一种人工智能预测的评估方法，其特征在于，包括： 将测试数据输入待评估的人工智能模型，得到对应所述测试数据的预测结果，其中，所 述预测结果包括多个参数指标；以及 比对所述预测结果的所述多个参数指标与所述测试数据的标准结果的所述多个参数 指标，综合得到所述待评估的人工智能模型的评估结果。 2.根据权利要求1所述的评估方法，其特征在于，所述标准结果的获得方法包括： 通过金标准的方法进行人工标记，以获取所述标准结果。 3.根据权利要求1所述的评估方法，其特征在于，所述标准结果的获得方法包括： 根据所述待评估的人工智能模型的预测项目，选取对应的测试模型，其中，每个所述预 测项目对应至少一个所述测试模型；以及 将所述测试数据输入所述测试模型，得到所述标准结果。 4.根据权利要求3所述的评估方法，其特征在于，所述测试项目对应多个所述测试模 型，所述将所述测试数据输入所述测试模型，得到所述标准结果包括： 将所述测试数据输入多个所述测试模型，得到多个输出结果；以及 根据所述多个输出结果，综合得到所述标准结果。 5.根据权利要求4所述的评估方法，其特征在于，所述将所述测试数据输入所述测试模 型，得到所述标准结果包括： 将所述测试数据输入所述测试模型，得到输出结果； 获取第三方审核机制对于所述输出结果是否正确的判断结果；以及 当所述判断结果为所述输出结果正确时，将所述输出结果作为标准结果输出。 6.根据权利要求5所述的评估方法，其特征在于，所述获取第三方审核机制对于所述输 出结果是否正确的判断结果包括： 当多个所述测试模型得到的所述多个输出结果不一致时，获取第三方审核机制对于所 述输出结果是否正确的判断结果。 7.根据权利要求5所述的评估方法，其中，所述第三方审核机制包括多个第三方审核小 组，其特征在于，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括： 获取所述多个第三方审核小组对于所述输出结果是否正确的判断结果；以及 判断所