CN107203467-CN201610158881-一种分布式环境下监督学习算法的基准测试方法和装置.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107203467 A (43)申请公布日 2017.09.26 (21)申请号 201610158881.9 (22)申请日 2016.03.18 (71)申请人 阿里巴巴集团控股有限公司 地址 英属开曼群岛大开曼资本大厦一座四 层847号邮箱 (72)发明人 孙忠英　 (74)专利代理机构 北京润泽恒知识产权代理有 限公司 11319 代理人 苏培华 (51)Int.Cl. G06F 11/36(2006.01) 权利要求书4页 说明书17页 附图7页 (54)发明名称 一种分布式环境下监督学习算法的基准测 试方法和装置 (57)摘要 本申请实施例提供了一种分布式环境下监 督学习算法的基准测试方法和装置，其中的方法 包括：获取根据基准测试中的输出数据所确定的 第一基准测试结果；获取所述基准测试中的分布 式性能指标，将所述分布式性能指标确定为第二 基准测试结果；将所述第一基准测试结果和第二 基准测试结果合并得到基准测试总结果。本申请 实施例提供了一种完善的、用于解决分布式环境 下监督学习算法的基准测试问题的方案，可以协 助技术人员对监督学习算法的性能进行准确、快 速的评估。 A 7 6 4 3 0 2 7 0 1 N C CN 107203467 A 权　利　要　求　书 1/4页 1.一种分布式环境下监督学习算法的基准测试方法，其特征在于，所述方法包括： 获取根据基准测试中的输出数据所确定的第一基准测试结果； 获取所述基准测试中的分布式性能指标，将所述分布式性能指标确定为第二基准测试 结果； 将所述第一基准测试结果和第二基准测试结果合并得到基准测试总结果。 2.根据权利要求1所述的方法，其特征在于，所述获取根据基准测试中的输出数据所确 定第一基准测试结果之前，所述方法还包括： 确定待测试监督学习算法； 按照评估模型对所述待测试监督学习算法进行基准测试得到输出数据； 根据基准测试中的输出数据确定第一基准测试结果。 3.根据权利要求2所述的方法，其特征在于，所述按照评估模型对所述待测试监督学习 算法进行基准测试得到输出数据，包括： 按照交叉验证模型对所述待测监督学习算法进行基准测试得到输出数据；或者， 按照标记Label按比例分配模型对所述待测监督学习算法进行基准测试得到输出数 据；或者， 按照交叉验证模型和Label按比例分配模型分别对所述待测监督学习算法进行基准测 试得到输出数据。 4.根据权利要求3所述的方法，其特征在于，所述按照交叉验证模型对所述待测试监督 学习算法进行基准测试得到输出数据，包括： 取一测试数据样本； 将所述测试数据样本中的数据等分为N份； 对所述N份数据执行M轮基准测试；其中， 在每一轮基准测试中，包括以下步骤： 将所述N份数据中的N-1份确定为训练数据，其余一份确定为预测数据，其中，M轮基准 测试中，每一份数据仅有一次被确定为预测数据的机会，其中，所述M、N为正整数； 将所确定的N-1份训练数据提供给所述待测试监督学习算法进行学习得到一个函数； 将所确定的一份预测数据中的输入数据提供给所述函数，得出输出数据。 5.根据权利要求3所述的方法，其特征在于，所述按照Label按比例分配模型对所述待 测试监督学习算法进行基准测试得到输出数据，包括： 取一测试数据样本，所述测试数据样本包括：具备第一标记的数据和