Python大数据分析与挖掘实战课件 14-1.大模型基本认识与Bert大语言模型.pptxVIP

第14章大模型技术及应用案例大模型基本认识大模型开发环境Bert大语言模型基础

大模型基本认识第14章大模型通常是指参数数量大、结构复杂的深度神经网络模型，其主要特点为参数数量大、模型结构复杂、计算技术要求高、性能优越大模型的训练主要包括两部分：预训练（Pre-training）和微调（Fine-tuning）预训练是指在大规模的数据集上训练一个通用的模型，这个模型可以捕捉到底层数据的统计规律和语义信息，而不是特定任务的细节微调是在预训练模型的基础上，使用新的任务数据集对模型进行进一步的训练，以使其适应特定任务的要求。微调通常包括冻结预训练模型的某些层级和调整其他层级的权重参数，或者针对特定任务增加输出层并通过优化损失函数获得权重参数。

大模型开发环境第14章Python环境：Windows11（64位）和Spyder（Python3.11），通过安装Python发行版本Anaconda3-2023.09-0-Windows-x86_64来实现大模型及深度学习环境：transformers和tensorflow

Bert大语言模型基础——bert-base-chinese第14章BERT基础中文版本名称为bert-base-chinese，由于使用过程中在线加载速度太慢，一般是先下载到本地再使用。可通过搜索google-bert/bert-base-chineseatmain()进入下载页面。下载完成后在本地电脑创建一个文件夹来存放模型文件。

Bert大语言模型基础——模型输入第14章BERT模型的输入嵌入层包含三个子层，分别是字向量层（TokenEmbedings）、句子向量层（SegmentEmbeddings）和位置编码向量层（PositionEmbeddings）。BERT模型实际的网络输入为字向量、句子向量、位置编码向量求和获得的最终向量

Bert大语言模型基础——模型输入第14章BERT模型实际输入，通过词编码器BertTokenizer构造即可。示例代码如下：fromtransformersimportBertTokenizertext=中国共产党万岁tokenizer=BertTokenizer.from_pretrained(./bert-base-chinese)token_code=tokenizer(text,return_tensors=tf)#以tensorflow张量的形式返回#查看相关输入参数详情input_ids=token_code[input_ids]token_type_ids=token_code[token_type_ids]attention_mask=token_code[attention_mask]token_cut=tokenizer.tokenize(text)print(token_cut)print(input_ids)print(token_type_ids)print(attention_mask)执行结果如下：[中,国,共,产,党,万,岁]tf.Tensor([[1017041744106677210546742259102]],shape=(1,9),dtype=int32)tf.Tensor([[000000000]],shape=(1,9),dtype=int32)tf.Tensor([[111111111]],shape=(1,9),dtype=int32)

Bert大语言模型基础——模型输入第14章#查看相关输入参数详情input_ids=token_code[input_ids]token_type_ids=token_code[token_type_ids]attention_mask=token_code[attention_mask]token_cut=tokenizer.tokenize(text)print(token_cut)print(input_ids)print(token_type_ids)print(attention_mask)执行结果如下：[中,国,共,产,党,万,岁]tf.Tensor([[1017041744106677210546742259102]],shape=(1,9),dtype=int32)tf.Tensor([[000000000]],shape=(1,9),dtype=int32)tf.Tensor([[111111111]],shape=(1,9),dtype=int3