一种基于TVM的自动调度搜索优化方法.pdfVIP

://

httwww．skx．com

pjj

:/

DOI１０．１１８９６skx．２４０１００１２６

jj

一种基于TVM的自动调度搜索优化方法

韩林１王一帆２李嘉楠１高伟１

郑州大学国家超级计算郑州中心郑州

１４５０００１

郑州大学计算机与人工智能学院郑州

２４５０００１

()

hanlin＠zzu．edu．cn

,,,

摘要随着人工智能的迅猛发展新型算子与硬件不断涌现算子库的开发和维护面临着巨大的挑战仅仅依靠手工优化已

.,

无法满足模型性能提升的需求是一种基于的算子自动调度技术可以针对不同的后端搜索深度学习模型或

AIAnsorTVM

,,.,

算子的最佳调度方案生成高性能代码而无需用户手动定义模板但其巨大的搜索空间造成了搜索效率低下的问题因此提

:);).

出了两种优化方案基于强化学习的算法实现最佳性能草图的选择基于机器学习模型的突变规则预测两种优化方案旨

１２

,.,

在缩短最佳调度方案的搜索时间快速生成高性能的算子为评估优化方案的有效性对等种模型和等

ResnetＧ５０３conv２d３

.,

种算子进行测试与评估结果显示优化后的Ansor只用７０％~７５％的搜索时间就可以生成性能与之前相同甚至更优的目标

,,.

程序并且在最佳迭代次数下目标程序的推理速度最高可提升５％

:;;;;;

关键词自动调度TVM编译器搜索速度优化机器学习强化学习深度学习模型

中图分类号TP３１１

AutomaticSchedulinSearchOtimizationMethodBasedonTVM

gp

１２１１

,,

HANLinWANGYifa