视频语义上下文标签树及其结构化分析-图学学报.pdf

2015 年 10 月 图 学 学 报 October 2015 第 36 卷 第5 期 JOURNAL OF GRAPHICS Vol.36 No.5 视频语义上下文标签树及其结构化分析 余春艳， 苏晨涵 （福州大学数学与计算机科学学院，福建 福州 350108） 摘 要：视频内容具有非常强的时间关联和逻辑结构，镜头语义是视频内容理解的基本单元。 从符合人类认识理解视频内容的角度来看，镜头语义之间隐含着时间上、语义上、结构上的多种 上下文关联信息。合理地描述这种上下文信息至关重要。为此，首先采用一棵带有上下文标签的 标签树作为镜头语义上下文层次结构的表征模型，以序列化的镜头语义序列为底层叶节点，以内 节点的上下文标签表征镜头语义间的上下文关联，其树形结构与视频内容层次化表征形式一致， 能为视频内容理解提供显著的信息增益。然后，着眼于解决镜头语义从其序列结构向标签树的层 次结构转化，采用结构化支持向量机的分析方法，根据镜头语义序列和视频语义上下文标签树的 联合特性构造了语义上下文结构化函数和损失函数，实现了镜头语义的结构化分析。实验结果表 明，视频语义上下文标签树在时序性、层次性、领域性、逻辑性等方面具有良好的表征能力，而 基于结构化支持向量机的结构化分析方法在镜头语义上下文分析的准确率、召回率及 F 1 值表现 良好。 关 键 词：视频语义上下文标签树；结构化支持向量机；语义上下文；结构化数据；视频语义 标注 中图分类号：TP 391 文献标识码：A 文 章 编 号：2095-302X(2015)05-0747-09 Video Semantic Context Label Tree and Its Structural Analysis Yu Chunyan, Su Chenhan (College of Mathematics and Computer Science, Fuzhou University, Fuzhou Fujian 350108, China) Abstract: Video content is strongly associated with time series and has a strong logical structure. Shot semantic is a kind of basic unit for understanding video content. From the point view of user cognition, among shot semantics, there are various context information hidden rather than explicit temporal association, such as logical and structural association. Obviously, it is important to describe these context information in an reasonable manner. Firstly, this paper presents a label tree w