一种基于贝叶斯网络的视频静态语义探测新方法.docVIP

一种基于贝叶斯网络的视频静态语义探测新方法 　　摘要：传统的基于内容的视频检索是利用图像的颜色、纹理以及形状等底层特征来对视频进行检索，然而这些底层特征并没有深层次地挖掘出视频的语义内容。在用支持矢量机对图像进行分类的基础上，提出了一种基于贝叶斯网络的对视频静态语义如室内/室外进行探测的新方法，实验结果验证该方法的有效性。 　　关键词：视频检索；贝叶斯网络；支持矢量机；语义探测；语义检索 　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2008)19-300117-02 　　A New Bayesian Network Based Approach for Video Static Semantic Detection 　　LI Yang 　　(Fuyang Normal School Computer and Information Institute, Fuyang 236032, China) 　　Abstract: Traditional content-based video retrieval is using the low-level features such as color, texture and shape for video retrieval, but these low-level features doesnt mine the video semantic deeply. Based on the classification of images by support vector machine, a new Bayesian Network based approach for detection of video static semantic such as indoor/outdoor is presented in this paper and the results of experiment verify the validity of the method. 　　Key words: Video Retrieval; Bayesian Network; Support Vector Machine; Semantic Detection; Semantic Retrieval 　　 　　1 引言 　　 　　传统的视频结构分析是通过一定的突变或渐变检测方法把视频中的连续帧分为镜头，再在镜头的基础上将镜头聚类为多个场景，这是一种最通用的视频结构。这种视频结构给出了拍摄者使用摄像机时镜头的客观运动情况和场景变化情况，使人一目了然。但是这种视频结构并没有揭示出视频内部更深层次的语义信息（如对象语义、空间关系语义、行为语义甚至情感语义等），在目前的应用中还远远不能满足用户人性化的查询需求，比如说用户想要查询视频中所有在室外或在室内发生的事件的镜头，或想查询所有在某个故事片中所有出现男女主角的镜头，在这种情况下传统的视频结构就显得无能为力，那么就需要对视频中各种各样的语义进行探测以支持并满足各种用户的查询需求。 　　 　　2 相关工作 　　 　　目前大部分的语义提取工作都是基于图像的，大多采用了机器学习的方法来设计一些分类器如贝叶斯分类器、LVQ(Learning Vector Quantization)分类器、KNN(K-Nearest Neighbor)分类器以及SVM等分类器来对图像进行分类，来获取图像的语义。文章[2-5]就是采用了分类的方法来获得图像的语义，其中先把图像分成很小（如16×16）的子块，对子块进行特征抽取，并指定每一个子块的语义，再输入到分类器中训练得到模型，利用这些模型来对未知的图像语义进行判别。上述方法的工作量太大（因为训练图像的每一个子块的语义都要事先指定），而且每个小的子块的语义并不是那么明显。 　　而目前对视频的语义检索的研究刚刚起步，语义也是为了满足用户的查询需求服务的。在本文中设计了贝叶斯网络，它基于SVM语义探测器的判别结果来对该视频帧是否为室内或室外来进行推理。 　　 　　3 基于贝叶斯网络的视频静态语义的探测 　　 　　3.1 层次化语义模型 　　考虑到图像语义的模糊性、复杂性、抽象性，图像语义模型都是分层次的。主要的语义层次如图1所示。一般来说又可以把这些笼统地分为静态语义和动态语义两种。在图1所示的层次化语义模型中，对象语义、空间关系语义、场景语义都可以认为是静态的，而行为语义、情感语义则可以认为是一种动态的语义。 　　3.2 贝叶斯网络[6]的构造 　　贝叶斯网络也被称为信念网络或者因果网络，是描述数据变量之间以来关系的一种图形模式，是一种用来进行推理的模型。贝叶斯网