视觉媒体语义自动提取关键技术研究：.pdfVIP

摘 要 近几年来，随着计算机和网络技术的发展，数字化视频与图像信息越来越多的涌现， 基于多媒体信息服务的信息时代正在向我们走来。人们对视频和图像等视觉媒体内容的 需求也越来越多，越来越广泛。这就需要行之有效的技术手段来满足用户的各种需求。 而“语义鸿沟”是横在人与计算机和谐交互中的一个重要障碍，这是由于人的大脑对视 觉媒体的评判标准和计算机系统对视觉媒体的评判标准存在着很大差异。虽然目前针对 视觉媒体的语义分析和理解有了很多研究，但这一倍受关注的技术还远远不能满足用户 的普遍需求。他们需要利用更多自动提取的语义信息。 本文对视觉媒体语义自动提取中的几项关键技术进行了研究，提出了语义提取的四 层技术框架，即对象语义层、场景语义层、知识及情感语义层和语义应用层，并分别研 究了对象检测、场景分类、高级语义概念提取和基于本体的语义应用等多项关键技术。 由于想找到一条普遍通用的语义提取技术是非常困难的，因此往往针对给定应用和利用 专业领域知识对特定的视觉媒体内容采取各个击破的策略来分析和自动理解。体育视频 的分析和理解由于具有广泛的用户群和巨大的市场潜力而成为近几年来的一个热门研究 方向，而随着北京奥运会的临近，体育视频的语义分析和理解对中国具有更强的现实意 义。另一方面，通过计算机技术对数字化艺术图像进行分析，并提取它们类别、风格、 以及包含的内容等语义信息是一个非常重要而且迫切的问题，正逐渐获得越来越多的关 注，国画是中华艺术的瑰宝，对国画等数字化艺术图像的研究也是一个重要的问题。因 此本文针对视频和图像这两种视觉媒体，分别研究了体育视频和艺术图像中的语义提取 技术。最后还给出了夜景图像的场景分类方法，该技术也具有重要的应用价值。具体来 说，论文主要的研究成果包括： 1) 首先对视觉媒体的语义自动提取的系统框架进行了宏观分析，这是必要的，一 方面可以对整个问题有个全局的认识，另一方面可以指导我们实现具体的语义 提取技术。给出其中所包含的各个层次的语义信息；并对视觉媒体语义提取的 应用框架和解决方案分别进行了系统分析。 2) 针对体育视频提出了一个鲁棒的球场对象分割检测方法。在很多种体育视频的 自动分析中，球场区域起着至关重要的基础性作用，许多语义线索可以在球场 分割结果的基础上获取。采用高斯混合模型(GMMs)为球场区域建立颜色模型， 这是由于 GMMs 可以对复杂的，非线性的颜色分布进行建模，从而在进行球场 区域的像素检测时具有足够的通用性。经过高斯混合模型的像素检测过程之后， 采用区域分析方法把检测的像素连成区域，区域分析主要包括形态学的方法和 区域增长的方法，这样得到最终的分割结果。实验证明，本文提出的方法对于 不同的体育视频均能有效地实现球场区域的检测。论文还研究了体育视频场景 I 视觉媒体语义自动提取关键技术研究： 摘要 语义分类的技术。针对足球体育视频提出了三层分类框架，共九种场景画面。 并利用球场分割的结果所得到的颜色特征，以及形状和边缘等特征，从图像底 层语义的角度分析各个场景画面之间的不同之处。由于可利用的训练数据相对 较少，利用支持向量机(SVM)作为分类器，它具有较好的推广能力。本文提出 的分类方法可以直接用在语义标注，也可被用来进行更高级的语义分析。比赛 形势的分析对于体育专业人士和长期的体育爱好者来说是十分有帮助的，这是 一个较新的方向，少有人涉及。对于给定的视频序列，将利用球场分割的结果 进行球员分析以及利用摄像机运动估计进行球场变化分析。并利用这两方面的 信息为比赛形式建模。从而判定哪个球队在这段时间内更占优势一些。这样就 可以对镜头进行自动语义标注，从而利于自动的语义视频检索，也可以用来分 析整个比赛。 3) 国画图像是中华艺术的瑰宝。本文研究了国画图像的检测算法。使用了三个低 级特征来实现这个高级的语义提取问题，分别为：颜色直方图、颜色一致性向 量和自相关纹理特征。检测采用决策树与支持向量机相结合的方法