深度学习 实验指导书 实验2：基于ViT的CIFAR10图像分类实验指导书.docx

实验二：基于ViT的CIFAR10图像分类

一、实验目的

学习如何使用深度学习框架来实现和训练一个ViT模型，以及ViT中的Attention机制。

进一步掌握使用深度学习框架完成任务的具体流程：如读取数据、构造网络、训练模型和测试模型等。

二、实验要求

基于Python语言和任意一种深度学习框架（实验指导书中使用PyTorch框架进行介绍），从零开始一步步完成数据读取、网络构建、模型训练和模型测试等过程，最终实现一个可以完成基于ViT的CIFAR10图像分类任务的程序。

在CIFAR10数据集上进行训练和评估，实现测试集准确率达到90%以上。

按照规定时间在课程网站上提交实验报告，代码和PPT。

三、实验原理

ViT相关概念和原理参考《深度学习》课程讲授内容，VIT首次将Transformer模型运用到计算机视觉领域并且取得了不错的分类效果，模型架构图如图1所示。从图1可以看出VIT只用了Transformer模型的编码器部分，并未涉及解码器。ViT架构由三部分组成：（1）图像特征嵌入模块；（2）Transformer编码器模块；（3）MLP分类模块。ViT的组成模块详细介绍如下：

图1ViT的架构

（1）图像特征嵌入模块：标准的ViT模型对图像的输入尺寸有要求，必须为224*224，图像输入之后首先是需要进行Patch分块，一般设置Patch的尺寸为16*16，那么一共能生成(224/16)*(224/16)=196个Patch块。

（2）Transformer编码器模块：主要由LayerNorm层、多头注意力机制、MLP模块、残差连接这5个部分组成。其中多头注意力如图2所示。

图2多头注意力

（3）MLP模块：由两个全连接层加上Dropout层实现。

四、实验所需工具和数据集

数据集

CIFAR-10（CanadianInstituteforAdvancedResearch-10）是一个常用的计算机视觉数据集，由60000张32*32像素的彩色图片组成，分为10个类别，每个类别有6000张图片。这个数据集包含飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车等类别。其中，训练集包含50000张图片，测试集包含10000张图片。CIFAR-10是一个用于测试图像分类算法性能的标准基准数据集之一，由于图像尺寸小且类别丰富，因此在计算资源有限的情况下，它通常用于快速验证和原型设计。

下载地址：/~kriz/cifar.html

实验环境

一台电脑

Python3.X

PyTorch深度学习框架

五、实验步骤和方法

下载数据集和数据预处理

构建模型：包括Attention结构和整体结构

Attention结构

ViT整体结构

前向MLP网络

模型训练

模型验证