基于BERT+P-Tuning数据预处理方法与实践.pdfVIP

基于BERT+P-Tuning方式数据预处理介

绍学习目标

了解本项目数据类型和表现格式，

掌握数据处理的工具函数代码实现。

BERT+P‑Tuning方式数据预处理

本项目中对数据部分的预处理步骤如下:

一、查看查看项目数据集二、编编写

类项目文件配置代码三、编写数据处

结束

理相关代码

1.查看项目目数据集

_

数据存放位置:/Users/prompttasks/P‑Tuning/data

data文件夹里面包含4个txt文件，分别为：train.txt、dev.txt、verbalizer.txt

1.1.train.txt

train.txt是训练数据集，其部分数据展示如下：

123水果脆脆的，甜味可以，可能时间有点长了，水分不是很足。平板机器肯定不错，但第一

456

到京东购物了

次碰上京东最糟糕的服务，以后不想用了。书籍为什么不认真检查一下，发这么一本脏脏的书

给顾客呢！衣服手感不错，用料