基于镜头分割和运动目标检测的排球视频研究.docxVIP

第一章绪论 本章首先对体育视频分析的研究意义进行了总结，然后对国内外研究现状进行归纳，提出了体育视 频分析领域需要解决的问题，最后提出论文研究的内容和安排。 §1-1课题的研究背景及意义 在当今信息化社会中，体育视频因其自身特点得到了学术界和生产行业的广泛的关注。随着互联网 的普及和图像视频处理技术的进步，大众对体育视频的关注也从直接观看和简单浏览转向多元化分析, 如精彩片段的重复观看、视频内容的编辑等。因此，这就需要我们对体育视频进行专业化的处理。与普 通的视频不同，对于体育视频的分析，我们不仅要对所提取的底层特征进行处理，还要结合特定项目的 专业知识进行语义分析。体育视频有其自身特的特点：（1）体育视频有较为明显的分段：以排球比赛为 例，一场比赛分5局，每局由若干次攻守转换组成，而且有明显的暂停时段。如此有规律的视频内容组 织结构给体育视频分析带來了极大的便利。（2）体育视频的扌n摄和编辑手法有着较强的规律性：一般來 讲，运动场地的摄像机数暈是有限的，拍摄角度也是相对固定的。在不同位置和不同角度所拍摄的视频 为用户提供了重要的语义信息，也为视频内容分析提供了重要的线索。（3）体育视频一般都结合相应的 项目领域规则和背景知识：体育运动视频具有较强的背景知识，这些项目规则和背景知识往往定义了大 众感兴趣的特定事件，研究者可以在项日专有规则的辅助下，进行体育比赛视频的语义内容分析。论文 针对球类体育视频进行分析，捉出了镜头分割的结构化处理和运动目标检测的两个研究领域。 §1-2体育视频分析的发展和研究现状 体育视频分析在各种需求的推动下具有不同的应用价值，精彩镜头的捉取与分类、视频浏览与检索、 运动目标检测、人体力学的分析应用、体育比赛技战术分析、虚拟内容编辑添加以及虚拟场景构造等等。 体育视频的基本属性是底层特征，然而符合观众观赏比赛习惯的信息种类是结合了特定项目和专业 相关知识的高层语义信息。因此，研究人员构建一个中间描述层作为底层特征和高级语义之间的桥梁， 在构建小级描述层的时候，加入先验知识和特定项目相关领域的规则，辅助底层特征选择和高级语义推 理。通常在研究申采用的框架是一个三层的模式结构⑴，即低层特征、中层关键字翻译和高级语义事件 层，如图1.1所示。 ?—匚 底层特解取 ?—匚 底层特解取 视频序列 视频音频和丈本信剧是取 相关领域规则? 相关领域规则 ? 中层关键字翻译 镜痢另吩奘慢镜疥討标仝间地点判 别.目标检溯运动模式检测和瞰键字分 析处理 高层语义分析 ~~? 视躺构化.语义爭件检狈闲内容繃旨瞪 图1.1体育视频分析三层框架结构 Fig. 1.1 Three Levels Stmcture of Sports Video Analysis 1-2-1底层特征提取分析 通常，底层特征包括基本的听觉信息、视觉信息以及文本信息。具体有目标的形状、颜色、纹理和 为美化和欣赏方便而加入的字幕等信息。这些基本数据可以直接从视频中提取，是视频最基本的信息， 也是计算机能识别的最原始数据。而高层语义特征一般指的是融合了特定项目规则和背景知识的具有一 定语义含义的信息。比如比赛的结构和内容、精彩片段和特定的事件等。很明显，底层特征和高级语义 层之间产生了鸿沟，这就需要我们构建一个中间描述层来连接底层特征和高级语义特征，将一些基本的 特征进行语义标号和重定义，使其成为翻译的桥梁，一般将其称为“关键字”，主要包括：视频关键字 （比如比赛小拍摄的镜头类型⑵卩】、比赛小的运动模式37】、目标的纹理与形状表述⑻、比赛的位置和目 标的位置与跑动轨迹等〔刃［?）、音频关键字［1,］［,2］（比如裁判的哨声、解说员解说词的声音、观众欢呼声 等）以及文本关键字（比如球类比赛中的“进球”、“犯规”、人工或半人工插入的字幕〔⑶、转录字幕以 及网上直播文字等）。 （1） 视觉特征分析视觉特征的信息量最大，因此在体育视频分析研究中起到了至关重要的作用，视觉 特征提取的好坏 直接决定中层关键字的翻译质暈和高级语义分析的合理性和可用性。视觉特征主要包括颜色特征、纹理 特征、形状特征和运动特征等。文献［7］用运动活度（Motion Activity）作为描述比赛的中层关键字，描述 出比赛的节奏，进而可以快速定位和提取比赛过程中场血激烈的视频片段。Huang等X】利用运动特征来 检测带有logo的重放场景视频段以实现重放场景的检测和提取，取得了较为令人满意的效果。 （2） 音频特征分析相对视频数据来讲，音频数据处理起来运算速度快并且计算量较小。所以，音频处理 可以用于精彩 比赛事件视频段的快速定位。如根据观众的欢呼声和掌声等兴奋咅可以粗略地检测出比赛中的精彩片 段，这些视频片段也是我们分析和研究的重点。同样，音频特征也蕴含了丰富的语音信息，近年来许多 研究