Transformer背景及其在自然语言处理中应用与优势.pdfVIP

Tf背景介绍

学习标

了解Tf背景

Tf的诞生

2018年10月Gog发出篇BERTe-tnngfeepBdtTff

nggndertndngBERT模型横空出世并横扫NL领域1项任务的最佳成绩

地址

而在BERT中发挥重要作用的结构就是Tf又相继出现XNETBERT等模型击败

了BERT但是他们的没有变仍然是Tf

2Tf的优势

相比之前占领市场的ST和GR模型Tf有两个显著的优势

、能够利用分布式进行并行训练，提升模型训练效率

、在分析预测更长的文本时捕捉间隔较长的语义关联效果更好

下面是张在比较图

3Tf的市场

在著名的SOTA机器翻译上几乎所有靠前的模型都使用T