基于BERT+PET分类模型实现与工具函数开发.pptxVIP

BERT+PET文本分类模型搭建

实现模型工具类函数实现模型训练函数,验证函数实现模型预测函数

01实现模型工具类函数

基本介绍目的模型在训练、验证、预测时需要的函数01代码路径llm/prompt_tasks/PET/utils02脚本utils文件夹共包含3个py脚本：verbalizer.py、metirc_utils.py以及common_utils.py03

verbalizer.py#-*-coding:utf-8-*-importosfromtypingimportUnion,Listfrompet_configimport*pc=ProjectConfig()目的：定义一个Verbalizer类，用于将一个Label对应到其子Label的映射。部分代码展示：具体参考代码文件

common_utils.py#coding:utf-8#导入必备工具包importtorchfromrichimportprint目的：定义损失函数、将mask_position位置的tokenlogits转换为token的id。脚本里面包含两个函数：mlm_loss()以及convert_logits_to_ids()部分代码展示：具体参考代码文件

metric_utils.pyfromtypingimportListimportnumpy