零样本下的指代表达理解.pptxVIP

零样本下的指代表达理解

-零样本下的指代表达理解基本概念1环境的搭建2优化方案3

零样本指代表达理解的基本概念1

零样本下的指代表达理解模型：视觉-语言多模态基础大模型（如CLIP）近年来成为了主流研究的关注点之一。类比于ChatGPT的成功，多模态大模型一个巨大的应用价值就是下游任务的零样本泛化能力任务：本赛题旨在利用已有的基础大模型，例如CLIP以及分割模型SAM，通过设计有效的视觉提示和其他推理策略实现高性能零样本下的指代表达理解任务目的：使用较少的GPU计算开销，达到开放世界的物体定位需求，例如人体检索，目标定位等

零样本下的指代表达理解所谓零样本下的指代表达理解即通过语言描述来定位图像中的目标物体框，如下图所示

环境的搭建2

环境的搭建

环境的搭建在指代表达理解中，需要度量已知类别和未知类别之间的语义相似性。选择适当的相似性度量方法可以帮助模型更好地理解语义概念之间的关系，并提高对新类别的分类准确性语义相似性的度量在现实场景中，新类别的数量可能是未知的。因此，指代表达理解需要能够处理类别数量不确定的情况。这可以通过使用灵活的模型架构和优化方法来实现类别数量的不确定性

环境的搭建模型的泛化能力指代表达理解需要能够泛化到未见过的类别。提高模型的泛化能力可以通过正则化、使用更复杂的模型架构或使用迁移学习等技术来实现

优化方案3

优化方案修改英文描述

修改前：[“girlwithheadband”,”kid”,”girlinblackshirt”]}

[“playerwithredhat”,”blueshirt”,”guywithfrisbee”]}

[“whiteuniform”,”whitesocks”,”whiteman”]}

修改后

[“girlwithheadband”,”yongkid”,”girlinblackshirt”]}

[“playerwithredhat”,”blueshirt”,”amaninblackpants”]}

[“whiteuniform”,”whitesocks”,”whiteT-shirt”]}

优化方案

优化方案方案二增加英语的描述词修改前[“girlwithheadband”,”kid”,”girlinblackshirt”]}修改后[“girlwithheadband”,”kid”,”girlinblackshirt”]}[“playerwithredhat”,”blueshirt”,”guywithfrisbee”]}

优化方案方案三

-感/谢/聆/听