自然语言处理之⼤模型架构介绍.pdfVIP

day30-⾃然语⾔处理08

上课

April24,2024

⽇期

|⼤模型资源站|github,魔塔|

主要|⼤模型架构|公共底座transformer，Encoder-Decoder架构T5、ChatLM，Encoder-Only架构BERT、GLM，

内容Decoder-Only架构LLM、LLaMA的⼉孙模型|

|⽰例|ChatLM0.2B.ipynb|

主讲

李晓华

⽼师

复习April25,2024

课时2

⼤模型资源站

github：/

魔塔：

⼤模型架构

公共底座：transformer

Encoder-Decoder架构：

T5NLG

ChatLMNLG

Encoder-Only架构：

BERT⼤模型-NLU

GLM⼤模型-NLG

Decoder-Only架构：

剩下的所有LLM⼤模型

LLaMA的⼉孙模型

day30⾃然语⾔处理081

⽰例：ChatLM0.2B.ipynb

fromtransformersimportAutoTokenizer,AutoModelForSeq2SeqLM

model_id=ChatLM_Modelscope

device=cudaiftorch.cuda.is_available()elsecpu

tokenizer=AutoTokenizer.from_pretrained(model_id)

model=AutoModelForSeq2SeqLM.from_pretrained(model_id,trust_remote_code=True).to(device)

txt=⼭东省在哪⾥？

encode_ids=tokenizer([txt])

input_ids=torch.LongTensor(encode_ids[input_ids])

attention_mask=torch.LongTensor(encode_ids[attention_mask])

outs=model.my_generate(

input_ids=input_ids.to(device),

attention_mask=attention_mask.to(device),

max_seq_len=512,

search_type=beam,

)

outs_txt=tokenizer.batch_decode(outs.cpu().numpy(),

skip_special_tokens=False,

clean_up_tokenization_spaces=False)

print(outs_txt[0])

PADUNK是中国⼭东省下辖的⼀个地级市，位于中国东部沿海