协作式噪声标签清洗与场景感知高光检测方法研究.pdfVIP

协作式噪声标签清洗器：学习场景感知的预告片用于电影多模态高光检

测

∗∗

干贝修俊君乔瑞志吴昊乾陈柯宇李汉军任波腾讯优图实验室

{stylegan,修俊君，乔瑞志，吴林旭，陈钥，李汉军，任波}@

3

2

0

2!#$%

r

a

M

6()*$

2

$6..%7/23%)$,

]

V

C

.

s

c

[

1

v

8

6图1.作为电影的预览，预告片由专业人士选择以吸引观众的注意力。然而，预告片通常由电影中稀疏选取的镜头组成，以避免剧

7透，观众无法获得完整的高光信息。一些预告片片段仅传达了电影的艺术风格，缺乏电影情节，干扰了观众的印象。此外，不

4

1同的观众可能对不同风格的片段感兴趣，这使得从预告片中学习高光片段变得具有挑战性。

.

3

0Cleaner(CLC)框架，以从带有噪声的高光时刻中进

3摘要

2电影高光片段因其便于快速浏览而在社交媒体平行学习。CLC包含两个模块：增强跨-传播（ACP）和多-

:

v台上发挥着关键作用。基于已有研究，我们得出两个模态清洗（MMC）。前者旨在利用紧密相关的音频-视觉

i信号并融合它们，以学习统一的多-模态表征-。后者旨在

X观察结论：(1)对于不同的标注者而言，标注高光片段通过观察不同模态间损失的变化来获得更干净的高光标签。

r存在-不确定性，导致标注结果不准确且耗时-。(2)除

a为了验证CLC的有效性，我们进一步收集了一个名为

了以往的有监督或无监督设置外，一些现有的视频语料

MovieLights的大规模高光数据集。在MovieLights和

库（例如预告片）也可能具有价值，但它们往往存在噪

YouTubeHighlights数据集上的综合实验表明了我们方

声且不完整，难以覆盖全部高光内容。在本研究中，我

法的有效性。代码已公开，地址为：https://

们探讨了一种更为实际且有前景的设置，即将高光片段

github.com/TencentYoutuResearch/

检测重新定义为“带噪声标签的学习”。这种设置无需HighlightDetection-CLC。

耗时-的人工标注，同时能够充分利用现有的丰富视频

语料库。首先，基于电影预告片，我们利用场景分割获

取完整的镜头，将其视为噪声标签。随后，我们提出了1.引言

一种协作式噪声标签

随着电影院和流媒体中上映的新电影数量不断增长，观

通讯作者。众越来越难以选择自己喜欢的影片来度过接下来的两个小时。

CollaborativeNoisyLabelCleaner:LearningScene-awareTrai