Bert主要包括有两个步骤.PDFVIP

Bert 主要包括有两个步骤： 1、Pre-trainning ：训练开销非常的大，因为模型包括一个12-24 层的Transformer ， 数据涵盖了整个维基百科和书的数据，以及 1M 次的更新迭代。需要4~16 个云端 TPUs 花费4 天的时间。不过好在对于每种语言来说，这样的训练都是一劳永逸的， 因为这是一个相当通用而且效果极佳的模型。 2、fine-tuning ：训练起来则方便的多，在GPU 上大概只需要数个小时即可。这主 要是在一些特定任务上对Bert 参数的微调。 Github 地址：/google-research/bert 已经发布的代码介绍：  BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters  BERT-Large, Uncased: 24-layer, 1024-hidden, 16-heads, 340M parameters  BERT-Base, Cased: 12-layer, 768-hidden, 12-heads , 110M parameters  BERT-Large, Cased: 24-layer, 1024-hidden, 16-heads, 340M parameters  BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters  BERT-Base, Multilingual Uncased (Orig, not recommended) (Not recommended, use Multilingual Cased instead): 102 languages, 12-layer, 768-hidden, 12- heads, 110M parameters  BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768- hidden, 12-heads, 110M parameters 注释：uncased 表示将数据里面的所有字母都变成了小写，例如John Smith 变成了john smith ，同时还去掉了例如德语法语里面的音调符号。Cased 则保留了语言的以上信息。 Multilingual 表示覆盖多语种，layer 表示Transformer 层 每一个文件包**.zip 里都包含以下三个部分： 1、一个TensorFlow checkpoint (bert_model.ckpt)里面有预训练的所有权重，一共3 个文 件； 2、一个vocab.txt 文件，是wordpiece 到word id 的对应关系。 3、一个bert_config.jason 文件，它指定了模型的超参数。 Fine-tuning 因为模型较大，即使是BERT-Base 也需要12GB 的RAM 的GPU 来运行默认的超参数。否则很容易 溢出。 案例：1 Sentence (and sentence-pair) 语义判别分类任务： 两个句子，各有一个ID ，label 是1/0 分别代表两个句子的语义是否一致。 训练脚本编写： export BERT_BASE_DIR=/work4/caiyq/bert/model/uncased_L-12_H-768_A-12 export GLUE_DIR=/work4/caiyq/data/glue_data python run_classifier.py \ --task_name=MRPC \ --do_train=true \ --do_eval=true \ --data_dir=$GLUE_DIR/MRPC \ --vocab_file=$BERT_BASE_DIR/vocab.txt \ --bert_config_file=$BERT_BASE_DIR/bert_config.json \ --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \ --max_seq_length=128 \ --tr