数据资源-ImageNet数据集解析及分享.docxVIP

AI研习图书馆，发现不一样的世界

ILSVRC2012数据解析

简介

ILSVRC2012数据集，即大名鼎鼎ImageNet2012竞赛的数据集，在图像分类数据集中属于最常用的跑分数据集和预训练数据集。

本文主要介绍该数据集的具体结构、数据使用方法，以及一些数据处理代码。

主要内容可以参考ILSVRC2012_devkit_t12.gz的readme.txt和中文翻译版

为了给大家提供便利，数据集已保存至百度网盘，公众号后台回复“ILSVRC2012”，即可获取下载链接~

数据集解析

下载的文件主要包括以下几个文件：

ILSVRC2012_img_train.tar

ILSVRC2012_img_val.tar

ILSVRC2012_img_test.tar

ILSVRC2012_devkit_t12.gz

前三个为图像压缩包，分别对应train/val/test三个子集。最后一个为数据说明相关文档。

下载地址可以参考imagenet2012数据集下载直接用迅雷下载，或参考Imagenet完整数据集下载通过种子下载。

train数据

ILSVRC2012_img_train.tar

该文件中有1000个tar压缩包，分别对应1000个类别。每个tar解压后得到对应类别的图片。可以使用一个简单的python程序或shell脚本将数据分别压缩至对应名称的文件夹中。将1000个tar解压至traintar文件夹中，创建train文件夹，将对应图片解压至相应的文件夹中。

python脚本如下：

def?un_tar(file_name,?output_root=train):

????#?untar?zip?file?to?folder?whose?name?is?same?as?tar?file

????tar?=?tarfile.open(file_name)

????names?=?tar.getnames()

????file_name?=?os.path.basename(file_name)

????extract_dir?=?os.path.join(output_root,?file_name.split(.)[0])

????#?create?folder?if?nessessary

????if?os.path.isdir(extract_dir):

????????pass

????else:

????????os.mkdir(extract_dir)

????for?name?in?names:

????????tar.extract(name,?extract_dir)

????tar.close()

def?untar_traintar(traintar=./traintar):

????

????untar?images?from?traintar?and?save?in?corresponding?folders

????organize?like:

????/train

???????/???????????images

???????/???????????images

????????.....

????

????root,?_,?files?=?next(os.walk(traintar))

????for?file?in?files:

????????un_tar(os.path.join(root,?file))

val数据

ILSVRC2012_img_val.tar中有50000张图片，并没有按照类别区分开，命名方式形如:

ILSVRC2012_valJPEG

ILSVRC2012_valJPEG

...

ILSVRC2012_valJPEG

ILSVRC2012_valJPEG

关于val数据集的标签，保存在ILSVRC2012_devkit_t12.gz中的data文件夹下的ILSVRC2012_validation_ground_truth.txt中，按照编号顺序每行用1-1000的数字表示一个类别。每个类别有50个样本。可以借助python中的scipy包访问mat文件的内容。scipy.io.loadmat

移动val数据的示例程序如下：

def?move_valimg(val_dir=./val,?devkit_dir=./ILSVRC2012_devkit_t12):

????

????move?valimg?to?correspongding?folders.

????val_id(start?from?1)?-?ILSVRC_I