基于BERT与P-Tuning分类模型实现.pptx

基于BERT+P-Tuning分类模型搭建

实现模型工具类函数实现模型训练函数,验证函数实现模型预测函数

01实现模型工具类函数

基本介绍目的模型在训练、验证、预测时需要的函数01代码路径llm/prompt_tasks/P-Tuning/utils02脚本utils文件夹共包含3个py脚本：verbalizer.py、metirc_utils.py以及common_utils.py03

verbalizer.py#-*-coding:utf-8-*-importosfromtypingimportUnion,Listfromptune_configimport*pc=ProjectConfig()目的：定义一个Verbalizer类，用于将一个Label对应到其子Label的映射。导入必备工具包print结果显示[{sub_labels:[电脑],token_ids:[[4510,5554]]},{sub_labels:[衣服],token_ids:[[6132,3302]]}]

common_utils.py#coding:utf-8#导入必备工具包importtorchfromrichimportprint目的：定义损失函数、将mask_position位置的tokenlogits转换为token的id。脚本里面包