视频结构挖掘概念及应用.docVIP

视频结构挖掘概念及应用 　　摘 要：提出了一种视频结构挖掘的概念框架和视频结构挖掘系统框架，在概念框架中对视频结构挖掘相关概念给出了规范化的定义，视频结构挖掘框架包括的主要内容有视频基本结构挖掘、视频语法结构挖掘和视频语义结构挖掘。最后讨论了视频结构挖掘中发现的结构模式和知识的具体应用，包括指导视频的组织与管理、实现基于内容的个性视频推荐和改善视频摘要系统。 　　关键词：视频结构; 视频结构挖掘; 视频语义结构; 视频语法结构?? 　　中图法分类号：TP311文献标识码：A 　　文章编号：1001―3695(2007)02―0020―04 　　 　　1 引言?? 　　 　　随着计算机处理速率、数据压缩比率、网络传输带宽的快速提高，多媒体数据已逐渐成为信息处理领域中主要的信息媒体形式，尤其是视频数据，成为越来越广泛的媒体形式，如视频新闻、记录片、电视节目、影片、监控视频和商品介绍等。视频能记录、保留空间和时间上的各种信息，它内容丰富，是文本、图像、语音等媒体综合而成的数据流，其中蕴涵着大量潜在价值的信息和知识，因此人们迫切需要从大量视频中快速、有效地发掘出真正有趣的模式。多媒体数据库、数字图书馆和多媒体信息处理领域，过去在基于内容的视频信息检索的研究方面作出了不少成就，虽然在某种程度上解决了信息搜索和信息资源发现的问题，但是对于某些问题的解决是不够的。因为信息检索只能获取用户要求的信息，而不能从视频数据中找出与分析蕴含有价值的知识。为此需要研究比视频检索更高层次的新方法，即视频挖掘。视频挖掘[1]就是从大量视频集中，发现有效的、新颖的、有价值的、可理解的模式，即知识，得出事件的趋向和关联，为用户提供问题求解层次的辅助能力。视频挖掘属于交叉学科的研究，它涉及到数据库、数据挖掘和多媒体信息处理等方面的研究和发展。?? 　　自从20世纪80年代末出现数据挖掘的思想以来，人们开展了针对数据库中结构化数据进行数据挖掘的大量研究[2]。然而，日常工作、生活和商业中的数据不仅仅是结构化的数据，还包含大量的非结构化文本、图像、视频和音频数据。目前，数据挖掘的研究正向非结构化数据挖掘的方向发展。数据挖掘一个主要的方向就是融合多媒体技术，出现了多媒体数据挖掘，其主要内容包括：建立多媒体数据挖掘的概念框架和体系结构[3，4]、实现多媒体数据挖掘原型系统[5,6]和开展多媒体数据挖掘的应用[4，7―11]等。近几年来，随着基于内容的信息检索技术的发展和成熟，逐步开展了视频挖掘的研究，主要有三种类型：①特殊模式挖掘[12]，挖掘视频中的特殊模式和重要场景；②视频聚类和分类[13]，把视频分成不同的类型；③视频关联规则挖掘，如挖掘视频编辑规则之间的关联规则[14]、挖掘视频单元之间的关联规则[15，16]。?? 　　原始视频是一种非结构化时基媒体，为了使其易被计算机管理，易被访问和检索，关键就是视频的结构化。虽然过去的视频内容分析能得出视频结构单元，但多是采用常规信号处理和分析的方法，均难以抽取视频结构中的语义信息。也就是说，常规的视频结构化方法仅仅抽取视频的基本结构，而缺乏视频的结构语义描述，这种视频结构化是不全面的，这是常规信号处理方法在高层信息处理方面的缺点。?? 　　本文在视频基本结构的基础上，挖掘视频结构中语法模式和语义规则，全面获得视频的结构知识，弥补常规视频结构化方法的不足。其中，通过数据挖掘发现的基本结构、镜头语法、场景语法等，表征了视频的语法模式；通过抽取的特征类关联规则和时间相关的事件关联规则，表示了视频包含的结构语义。这些视频结构知识可以用于视频数据库的组织与管理、基于内容的个性视频推荐、基于语法和语义的视频摘要等视频数据的处理当中。?? 　　 　　2 视频结构挖掘的概念框架?? 　　 　　视频数据是非结构化的数据，结构性差，用户难以实现视频的随机接入。以前用户要想找到自己想要的一段视频，采用快进或快退的方式线性浏览，耗时多，而且枯燥乏味，难以找到像书本一样的章节结构。因此有必要从各种视频中挖掘出其结构模式（知识），实现视频的快速、随机接入，这就是进行视频结构挖掘的最初动机。?? 　　视频的基本结构是由帧、镜头、场景、视频组成的基本层次结构，在基本层次结构之上，还有视频语法结构（如视频编辑语法、视频单元之间的关联语法等）和视频语义结构（如视频中的精彩镜头、事件、户内/户外场景等），以及视频中的主要人物、对象。考虑到视频是多种媒体（文字、视频、音频等）的综合，形成了交错复杂的网状结构。从这些构成要素来看，有时基的，如场景、镜头和事件等，有非时基的，如视频中出现的人物或对象；从多媒体的同步来看，这些构成要素之间有内在的时间关系，如Meets，Starts，Equal，During，Finishes等。结合