bert-pytorch版源码详细解读.pdfVIP

bert-pytorch版源码详细解读 前⾔ 主要代码 1.主函数⼊⼝ class BertModel(nn.Module) : def __ init__ (self, config : BertConfig) : super(BertModel, self).__ init__ () self.embeddings = B RT mbeddings(config) self.encoder = B RT ncoder(config) self.pooler = B RT Pooler(config) def forward(self, input_ ids, token_type_ ids=None, attention_ mask=None) : if attention_ mask is None: attention_ mask = torch.ones_ like(input_ ids) if token_type_ ids is None: token_type_ ids = torch.zeros_ like(input_ ids) # attention_ mask的维度应保持和多头的hidden_ states ⼀致 #!!!个⼈感觉 ⾥extended_ attention_ mask 还应该扩展 ⼀下，感觉 个维度不太对! extended_attention_ mask = attention_ mask.unsqueeze(1).unsqueeze(2) extended_attention_ mask = extended_attention_ mask.float() # mask部分token的权重直接给- 10000，使其在self-att的时候基本不起作⽤。 extended_attention_ mask = (1.0 - extended_attention_ mask) * -10000.0 #根据inp ut_ ids, token_ typ e_ ids以及p osition_ ids来确定初始embeddings embedding_output = self.embeddings(input_ ids, token_type_ ids) #核⼼层，由以多层self_ attention为主的神经⽹络构成 all_encoder_ layers = self.encoder(embedding_output, extended_attention_ mask) #最后 ⼀层隐藏层 sequence_output = all_encoder_ layers[-1] #取出最后 ⼀层隐藏层的[cls] 的表征，经过⽹络层(self p ooler)后得到p ooled_ outp ut pooled_output = self.pooler(sequence_output) return all_encoder_ layers, pooled_output ⼤致讲⼀下吧： ⼀般必传的三个参数input_idx ，token_type_ids，attention_mask。 维度均为 （batch_size, max_sent_length） input_idx就是每个token对应的idx ，对应关系在预训练模型⽂件集的vocab.txt⾥ token_type_ids有两种取值(0对应sentenceA,1对应sentenceB）该tensor会在self.embeddings的时候和input_iput⽣成的 embedding相加⽣成初始的embeddings。 attention_mask有两种取值 （1代表⾮mask词，0代表mask掉的词）⼀般来说在finetune阶段，我们会把padding部分都设成mask 掉的词。 其他基本也都注释了。