鲁棒的镜头边界检测及基于运动信息的视频摘要生成.pdfVIP

第 22卷第 6期 计算机辅助设计与 图形学学报 Vol|22NO．6 2010年 6月 JournalofComputer—AidedDesign＆ ComputerGraphics June2O10 鲁棒的镜头边界检测与基于运动信息的视频摘要生成 张 剑 (浙江大学理学院数学系 杭州 310027) (zhangsdust@ yahoo．corn．cn) 摘 要 ：根据基于内容的视频索引与检索等应用 的需求 ，提 出一种视频摘要生成方法．首先进行鲁棒 的镜头边界检 测 ，基于颜色直方 图计算相邻帧间距离来进行初步检测 ，并通过分析帧间运动向量去除由相机运动引起 的误检测 ； 然后根据镜头的运动指示图将镜头分为静态镜头 、包含对象运动的镜头和包含显著相机运动 的镜头 ；最后提出镜头 间基于多实例表示的距离度量方法以及聚类算法的初始化方法 ，采用核 K 均值算法对每类镜头进行聚类 ，抽取每 类中最靠近类簇 中心的镜头作为关键镜头，将关键镜头按时间序组合起来形成视频摘要．与 已有方法相 比，文 中方 法能进行更鲁棒 的镜头边界检测 ，识别镜头 中的运动信息 ，并对镜头分类后进行分别处理 ，从而增强视频摘要 的信 息概括能力． 关键词：运动向量方 向直方图；分块运 动向量方 向直 方图；核 K 均值 中图法分类 号：TP391 RobustShotBoundary Detection and Video Summarization Based on M otion Information ZhangJian (DepartmentofMathematics，CollegeofScience，Z^ejiangUniversity，Hangzhou 310027) Abstract：A nove1approachisproposedforvideosummarization．First，robustshotboundarydetection isconductedbyevaluatingtheinter—framedistancebasedonimagecolorhistogram andbyremovingthe falsepositivebased on cameramotion analysis；then，each shotisclassified asstationary shot，shot withobjectmotionandshotwith cameramotionbyanalyzingitsmotion indicatormap；wefinally adaptwellinitializedkernelK——m eansclusteringwithaproposedmulti——instancedistancemetrictOeach classofshots．ThevideosummarizationiSconstructedbyextractingtheshotnearesttoclustercenter in each clusterandbyintegratingthem accordingtotheiroccurringtimeinstanceintheoriginalvideo． Comparedwith the state—of—artalgorithms，ourproposed approach can detectshotboundarieswith higheraccuracy，classifytheshotsaccordingtomotioninformation，andbuildmoreinformativevideo summarizationbyabstractingeachclassofshotsrespectively． Keywords：motion vectordirectionalhistogram ；blockwisedirectionalhistogram ofmotion vectors； kernelK—means 在基于 内容的视频索引、视频检索和视频浏览 帧来表示视频并支持视频快速导航 。；另一种是对 等应用 中，常常需要提取原始视频中有代表性 的部