框架：Transformers原理、代码与应用讨论.pptxVIP

NLP框架————————transformersbrucehan2020-06-21

12原理回顾原理回顾3代码解析CONTENTS

XLNET应用讨论资源汇总finetuneinference源码TransformersPython库Sentencetransformers框架：tf-serving,pythonweb,RPC性能：albert,tiny-bert,蒸馏，C++inference库

框架Fast-bertFARMpyText关系分类NER文本生成各类NLP任务的特征初始化

transformersNLP范式：大型语言模型+迁移学习BERTology预训练需要大量的资源，一般研究者无法承担。以RoBERTa为例，它在160GB文本上利用1024块32GB显存的V100卡训练得到，如果换算成AWS上的云计算资源的话，但这一模型就需要10万美元的开销。很多大机构的预训练模型被分享出来，但没有得到很好的组织和管理。BERTology的各种模型虽然师出同源，但在模型细节和调用接口上还是有不少变种，用起来容易踩坑

BERTologytransformerTransformer-xlBERTAlbertXLNet长距学习，生成模型绝对位置编码Multi-headself-attention相对位置编码双向LM，预训练先驱绝对位置编码2速度飞跃ARAE