自定义数据集与定长图文处理技术详解及实践.pdfVIP

part1自定义数据集

自定义数据集

为了让加载器可以加载我们的自定义数据集，我们要为了自定义

数据集实现四个功能：

1.继承Dataset类

2.len

3.getitem

4.transforms

自定义数据集

继承和transforms没什么好说的。主要是getitem和len

首先我们要指定一个目录，获取目录下的文件

建立一个分类映射表，令标注数据变为映射表索引

getitem操作，打开，返回tensor和labels的tensor

len提取目录下的文件数量

part2计算值

计算值

均值=每一个通道上独立计算均值的平均值（或者一起计算）

差=每一个通道上独立计算差（必须一起计算）

我们先实现一个MNIST和cifar10的值计算程序以验证程序准

确性

part3取巧训练定长图文

定长图文

虽然我们正常来讲，利用单纯的卷积和全连接层只能获取

的唯一最大特征，但是由于图文定长，所以我们可以取巧训练。

比如10个数字，定长4，那么就可以做40个特征，即：

第一个数是几/第二个数是几/第三个数是几/第四个