大模型面试题-5-transformers 操作篇.pdf

transformers操作篇

来自：AiGC面试宝典

2024年01月28日13:20

•transformers操作篇

•1.如何利用transformers加载Bert模型？

•2.如何利用transformers输出Bert指定hidden_state？

•3.BERT获取最后一层或每一层网络的向量输出

•致谢

1.如何利用transformers加载Bert模型？

importtorch

fromtransformersimportBertModel,BertTokenizer

#这里我们调用bert-base模型，同时模型的词典经过小写处理

model_name=bert-base-uncased

#读取模型对应的tokenizer

tokenizer=BertTokenizer.from_pretrained(model_name)

#载入模型

model=BertModel.from_pretrained(model_name)

#输入文本

input_text=Hereissometexttoencode

#通过tokenizer把文本变成token_id

input_ids=tokenizer.encode(input_text,add_special_tokensTrue)

#input_ids:[101,2182,2003,2070,3793,2000,4372,16044,102]

input_ids=torch.tensor([input_ids])

#获得BERT模型最后一个隐层结果

withtorch.no_grad():

last_hidden_states=model(input_ids)[0]#Modelsoutputsarenowtuples

tensor([[[-0.0549,0.1053,-0.1065,...,-0.3550,0.0686,0.6506],

[-0.5759,-0.3650,-0.1383,...,-0.6782,0.2092,-0.1639],

[-0.1641,-0.5597,0.0150,...,-0.1603,-0.1346,0.6216],

...,

[0.2448,0.1254,0.1587,...,-0.2749,-0.1163,0.8809],

[0.0481,0.4950,-0.2827,...,-0.6097,-0.1212,0.2527],

[0.9046,0.2137,-0.5897,...,0.3040,-0.6172,-0.1950]]])

shape:(1,9,768)

可以看到，包括import在内的不到十行代码，我们就实现了读取一个预训练过的BERT模型，来

encode我们指定的一个文本，对文本的每一个token生成768维的向量。如果是二分类任务，我们

接下来就可以把第一个token也就是[CLS]的768维向量，接一个linear层，预测出分类的logits，或

者根据标签进行训练。

2.如何利用transformers输出Bert指定hidden_state？

Bert默认是十二层，但是有时候预训练时并不需要利用全部利用，而只需要预训练前面几层即

可，此时该怎么做呢？

下载到bert-base-uncased的模型目录里面包含配置文件config.json,该文件中包含

output_hidden_states，可以利用该参数来设置编码器内隐藏层层数

{

architectures:[

BertForMaskedLM

],

attention_