计算机视觉中的Transformer模型轻量化改进.docxVIP

计算机视觉中的Transformer模型轻量化改进

一、引言

近年来，深度学习技术在计算机视觉领域取得了革命性的突破，从早期的卷积神经网络到如今风靡全球的VisionTransformer，模型的架构与性能不断刷新着人类对人工智能的理解。VisionTransformer（ViT）作为将自然语言处理领域的Transformer架构成功引入视觉领域的里程碑式工作，凭借其强大的全局感受野和自注意力机制，在图像分类、目标检测及语义分割等任务中展现出了超越传统卷积神经网络的潜力。然而，随着模型规模的不断扩大，Transformer在视觉任务中的性能优势逐渐被其高昂的计算成本和巨大的参数量所抵消。这