一种基于语义的视频场景分割算法.pdfVIP

第 11卷 第 11期 中国图象图形学报 Vo1．11，No．11 2006年 11月 JournalofImageandGraphics Nov．，2006 一 种基于语义的视频场景分割算法 曹建荣 (山东建筑大学信息与电气3-程学院，济南 250101) 摘 要 针对如何在镜头基础上进行聚类，以得到更高层次的场景问题 ，提出了一个基于语义的场景分割算法。 该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG．7边缘直方图，以形 成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机 (SVM)进行训练来构造 7个基于 SVM 对 应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类 ，以得到关键帧的语义。并根 据关键帧包含的语义概念形成了其语义概念矢量 ，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场 景。另外，为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表 明，该场景分割算法与 Hanjalic的方法相 比，查准率和查全率分别提高了34．7％和91％。 关键词 场景 支持向量机 语义 视频 中图法分类号：TN941 文献标识码 ：A 文章编号：1006．896l(2006)l1．1657．04 AnAlgorithm ofVideoSceneSegmentationBasedonSemantics CAO Jian—rong (SchoolofInformationandElectricalEngineering。ShanDongJiattzhaUniversity，Jinan250101) Abstract Thescenesegmentationisahigh—leveltemporalvideosegment．Thispaperpresentsamethodofscenesegmentation basedonsemantics．Atfirst，thevideoclipsaresemg entedintoshotsandtheshotkeyframesareextracted．Thenthefeaturesof colorhistogram andMPEG一7edgehistorgam ofeach keyfrma earecomputedand thefeaturevectorsofshotkeyframesal-e formed．Thesuppo~vectormachines(SVM)aretrainedbythesefeaturevectorsand7binaryclassifiersinaccordancewith differencesemanticconceptsareconstructed．Thesebinaryclassifierslifeusedtoclassifytheshotkeyframesofthevideoclips basedonthefeaturesofthecolorandthetextureandthesemanticsconceptsofshotkeyframescanbeobtained．Thesemantic conceptvectors ofshotkeyframesarefomr edbythesemanticconceptscontainedinthekeyframes．Theshotkeyfrma esKle clusteredbythesemanticconceptvectors andthevideoscenecanbeconsturcted．Theshotselectfunctionisdefinedtoextract thescenekeyframebasedonthevalueoffunction．Theexperimental