基于频繁镜头集合的视频场景分割方法.PDFVIP

第２８卷第６期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．６ ２０１１年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１１ 基于频繁镜头集合的视频场景分割方法 １ １ １ ２ ３ 郭小川 　刘明杰 　王婧璐 　董道国 　万乾荣 １（复旦大学计算机科学技术学院　上海２０１２０３） ２（上海未来宽带技术及应用工程研究中心有限公司　上海２００３３６） ３（东方有线网络有限公司　上海２０１２０３） 摘　要　　提出一种基于全局场景特征在视频序列中寻找频繁镜头集合，并通过局部语义特征精确定位视频场景边界的视频场景 分割方法。首先对分析视频进行高精度镜头分割，选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部 特征，并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性，结合视 频场景的概念和特性，在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合，粗略定位视频场景位置。最后利用镜头关键 帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。 关键词　　视频场景分割　场景特征　局部特征　频繁镜头集合 ＡＶＩＤＥＯＳＣＥＮＥＳＥＧＭＥＮＴＡＴＩＯＮＭＥＴＨＯＤＢＡＳＥＤＯＮＦＲＥＱＵＥＮＴＳＨＯＴＳＥＴ １ １ １ ２ ３ ＧｕｏＸｉａｏｃｈｕａｎ　ＬｉｕＭｉｎｇｊｉｅ　ＷａｎｇＪｉｎｇｌｕ　ＤｏｎｇＤａｏｇｕｏ　ＷａｎＱｉａｎｒｏｎｇ １（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＦｕｄａｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１２０３，Ｃｈｉｎａ） ２（ＳｈａｎｇｈａｉＢＳｔａｒＣｏ．，Ｌｔｄ，Ｓｈａｎｇｈａｉ２００３３６，Ｃｈｉｎａ） ３（ＯｒｉｅｎｔａｌＣａｂｌｅＮｅｔｗｏｒｋＣｏ．，Ｌｔｄ，Ｓｈａｎｇｈａｉ２０１２０３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｐａｐｅｒｐｒｏｐｏｓｅｓａｖｉｄｅｏｓｃｅｎｅｓｅｇｍｅｎｔａｔｉｏｎｍｅｔｈｏｄｔｈａｔｓｅａｒｃｈｅｓｆｏｒｆｒｅｑｕｅｎｔｓｈｏｔｓｅｔｓｉｎｖｉｄｅｏｓｅｑｕｅｎｃｅｓｏｎｔｈｅｂａｓｉｓｏｆ ｇｌｏｂａｌｓｃｅｎｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｓｗｅｌｌａｓｐｒｅｃｉｓｅｌｙｌｏｃａｔｅｓｖｉｄｅｏｓｃｅｎｅｂｏｒｄｅｒｓｂｙｌｏｃａｌｓｅｍａｎｔｉｃｐｒｏｐｅｒｔｉｅｓ．Ａｔｆｉｒｓｔｔｈｅａｎａｌｙｚｉｎｇｖｉｄｅｏｉｓｓｈｏｔ ｓｐｌｉｔｂｙｈｉｇｈｒｅｓｏｌｕｔｉｏｎｔｏｃｈｏｏｓｅｒｅｐｒｅｓｅｎｔａｔｉｖｅｓｈｏｔｋｅｙｆｒａｍｅｓ．Ｔｈｅｎｔｈｅｇｌｏｂａｌｓｃｅｎｅｆｅａｔｕｒｅｓａｎｄｌｏｃａｌｆｅａｔｕｒｅｓｏｆｅｖｅｒｙｓｈｏｔｋｅｙｆｒａｍｅａｒｅ ｅｘｔｒａｃｔｅｄ．Ｔｈｅｎｗｉｔｈｔｈｅｖｉｓｕａｌｖｏｃａｂｕｌａｒｙｃｒｅａｔｅｄｂｙｌｏｃａｌｆｅａｔｕｒｅｃｌｕｓｔｅｒｉｎｇ，ｅｖｅｒｙｓｈｏｔｋｅｙｆｒａｍｅｉｓｓｅｍａｎｔｉｃａｌｌｙｌａｂｅｌｅｄ．Ｎｅｘｔｔｈｅｒｅｌａｔｉｖｉｔｙ ａｍｏｎｇｓｈｏｔｓｂａｓｅｄｏｎｇｌｏｂａｌｓｃｅｎｅｆｅａｔｕｒｅｓｉｓｃａｌｃｕｌａｔｅｄ．Ｃｏｍｂｉｎｉｎｇｔｈｅｖｉｄｅｏｓｃｅｎｅｃｏｎｃｅｐｔａｎｄｆｅａｔｕｒｅｓ，ｓｈｏｔｓｅｔｓｗｉｔｈｈｉｇｈｒｅｌａｔｉｖｉｔｙｉｎ ｌｏｃａｌｆｒｅｑｕｅｎｔａｐｐｅａｒａｎｃｅａｒｅｓｏｕｇｈｔｆｏｒａｍｏｎｇｓｈｏｔｋｅｙｆｒａｍｅｓｅｑｕｅｎｃｅｓｉｎｏｒｄｅｒｔｏｒｏｕｇｈｌｙｌｏｃａｔｅｔｈｅｖｉｄｅｏｓｃｅｎｅ．Ａｔｌａｓｔｔ