基于深度多模态关联表示学习的时尚兼容性建模方法研究.pdfVIP

摘要

在全球快时尚的时代潮流下，互联网的持续普及和在线购物平台的迅速兴

起推动了时尚产业的发展与繁荣，而用户对于服装搭配的个性化服务需求变得

更加迫切。时尚兼容性建模旨在自动评估给定套装中若干互补单品的搭配程度，

并提供合适的穿搭建议，逐渐吸引了学术界和工业界的研究关注。由于时尚单

品具有丰富的多模态数据，且不同单品间存在上下文和语义上的关联性，如何

利用这种关联性来充分挖掘多模态信息是时尚兼容性建模任务的关键。因此，

本文从深度多模态关联表示学习的角度，进行了如下研究工作。

针对时尚服饰中多模态信息的互补性和单品间的上下文关联性，本文提出

了一种基于关联感知跨模态注意网络的时尚兼容性建模方法。为显式地学习服

饰多模态信息之间的交互关系，设计跨模态注意融合网络来聚合时尚单品的多

模态特征表示；其次，通过图注意网络来自适应地捕捉单品间丰富的上下文信

息，获得基于关联感知的时尚套装全局性表示；最后，利用自注意机制来进一

步强化套装最终表示并用于时尚兼容性评估。在两个真实大规模的数据集

PolyvoreOutfit-ND和PolyvoreOutfit-D上分别开展的一系列实验，验证了本文

所提算法相对于其他基准方法的优势，以及其每个模块的有效性。

为了深入挖掘服饰类别信息对其多模态表示学习的语义指导性，本文提出

了一种基于类别感知多模态注意网络的时尚兼容性建模方法。考虑到不同服饰

类别间的关联关系具有多变性，设计类别动态图卷积网络来自适应地学习类别

之间的语义相关性。同时将卷积神经网络的多层视觉输出和其相应的上下文信

息结合，获得内容感知的类别表示与上下文感知注意力权重，以更好地从不同

方面表征时尚单品表示。其次，通过多模态分解双线性池化策略整合两种感知

信息，生成时尚单品的视觉语义嵌入，并通过多头自注意力机制来进一步地强

化时尚套装特征表示，从而捕获与时尚兼容性相关的重要元素。在两个公开可

用的数据集FashionVC和ExpFashion上分别进行的大量实验表明，与现有的先

进方法相比，本文所提算法在时尚兼容性建模任务中具有更好的性能。

关键词：时尚兼容性建模，多模态表示学习，图卷积神经网络，注意力机制

I

II

ABSTRACT

Underthetrendofglobalfastfashion,thecontinuouspopularityoftheInternet

andtherapidriseofonlineshoppingplatformshavepromotedthedevelopmentand

prosperityofthefashionindustry,andusersdemandforpersonalizedservicesfor

clothingmatchinghasbecomemoreurgent.Fashioncompatibilitymodeling,which

aimstoautomaticallyassessthematchingdegreeofseveralcomplementaryitemsina

givenfashionoutfit,andprovidesuitableoutfitmatchingsuggestions,hasgradually

attractedresearchattentioninacademiaandindustry.Sincefashionitemshaverich

multimodaldata,andtherearecontextualandsemanticcorrelationsbetweendifferent

items,sohowtousethiscorrelationstofullyminemultimodalinformationisthekey

tofashioncompatibilitymodelingtask.Therefore,fromtheperspectiveofdeep

multimodal