面向国产深度学习平台的自然语言处理模型迁移研究.pdfVIP

://

httwww．skx．com

pjj

:/

DOI１０．１１８９６skx．２３０６０００５１

jj

面向国产深度学习平台的自然语言处理模型迁移研究

葛慧斌１王德鑫１郑涛２张婷３熊德意１

天津大学智能与计算学部天津

１３００３５０

华为技术有限公司南京研究所南京

２２１００００

中译语通科技股份有限公司北京

３１００１３１

()

ehuibin＠tu．edu．cn

gj

.,

摘要深度学习平台在新一代人工智能的发展中扮演着重要的角色近年来以昇腾平台为代表的国产人工智能软硬件系

,.,,

统快速发展为国产深度学习平台的发展开辟出了新的道路与此同时为了发现并解决昇腾系统存在的潜在漏洞昇腾平台

.,、、

积极开展常用深度学习模型的迁移工作从自然语言处理算法角度切入针对机器阅读理解神经机器翻译序列标注和文本

,,,,

分类四大自然语言处理任务以昇腾平台的高性能硬件芯片为基础探究迁移和

ALBERTRNNSearchBERTＧCRFTextING

.,

这类典型的自然语言处理模型基于以上迁移研究发现和整理了昇腾平台架构设计在自然语言处理研究与业务上的主要

４

,、、,

不足即计算图节点动态空间的分配特性资源算子下沉设备侧图算融合以及混合精度训练个方面的问题并为以上问题提

４

,.,.

出了相应的解决方案并进行了实验验证最后为国产深度学习平台的发展提出未来优化的方向和相关建议

:;;;;

关键词自然语言处理昇腾深度学习模型迁移平台构架

中图分类号TP１８３

StudonModelMirationofNaturalLanuaeProcessinforDomesticDee