镜头频度用于视频检索的研究Ξ - 人机交互与媒体集成研究所 - 清华大学.PDF

第 10 卷第 9 期 软　件　学　报 V o l. 10, N o. 9 1999 年 9 月 JOU RNAL O F SO FTWA R E Sep. 1999 镜头频度用于视频检索的研究 白雪生　徐光礻右　史元春 (清华大学计算机科学与技术系　北京　100084) (清华大学智能技术与系统国家重点实验室　北京　100084) 摘要　在电影、电视等观赏类视频信号中, 情节的紧张程度一般都在镜头的切换频率上 得以体现, 而在对此类视频信号的检索中, 用户往往希望能够根据情节紧张程度来进行 检索. 文章提出了对此类视频信号的镜头切换频率进行度量, 并根据得到的镜头频度进 行视频检索的方法, 给出了视频流的镜头分割算法, 以及为减小漏分错分影响所采用 的镜头频度度量——镜头平均帧数的鲁棒计算方法. 文章还阐述了利用镜头频度进行 视频检索的基本思想及算法细节, 并给出了对于实际影片视频信号检索的实验结果和 分析. 关 键 词　视频检索, 镜头频度, 镜头切变, 镜头渐变, 镜头平均帧数. 中图法分类号　 311 T P 在对视频信号的基于内容的检索中, 大多数情况下, 用户都希望能够根据语义信息来检索视频片段. 然而, 从当前媒体理解技术的水平出发, 通用的、能够自动对视频信号进行分析并建立语义描述的系统在近期内还难 以实现. 但在一定的场合或应用中, 某些特征往往具有特定的语义含义. 利用这些特征, 建立专用的视频检索系 统也就成为目前视频信号基于内容检索研究中的一个热点. 对于视频检索, 目前常用的处理方法往往包括如下步骤: ( 1) 将连续的视频流分割为具有独立语义信息的 视频片段——镜头; (2) 对镜头建立内容描述, 并根据不同镜头内容描述间的相似性和相关性对镜头进行组 织, 建立更高层的索引结构. 利用得到的组织结果, 用户可以通过浏览来选择感兴趣的视频片段进行检索[1～ 4 ]. 上述方法虽然提供了一种全面、有效的视频检索手段, 但需要进行大量的建库工作, 而在许多应用中, 以用 户的检索要求而言并不需要对视频信号建立如此细致的描述. 例如, 对于电影、电视等视频信号来说, 用户一般 ( ) 希望能够根据情节 如打斗、追逐、对峙、交锋等 来检索, 而情节往往通过镜头切换的频率得以体现. 许多其他 编辑处理过的观赏类视频信号也具有类似的特性. 根据这个特点, 对此类视频信号建立一个反映镜头切换频率 的度量——镜头频度, 从而为用户提供一个灵活的、对视频信号根据其紧张程度进行检索的方法, 无疑具有相 当重要的意义. 在实际应用中, 需要直接对镜头进行频率计算, 但因为用于统计镜头数目的单位时间不易确定而难以广泛 应用, 一种可替代的度量是镜头的平均持续时间. 在实际应用中体现为镜头所含的平均帧数. 由于目前的镜头 分割方法不能确保得到正确的镜头分割结果, 在得到的镜头中往往含有少量错分、漏分的镜头. 在这种情况下, 直接计算平均帧数会给出错误的结果. 为了解决这个问题, 我们在提高镜头分割算法性能的同时, 提出了鲁棒 的镜头平均帧数计算方法. 采用这种方法, 计算得到的平均帧数对于镜头分割中的错误具有较强的抗干扰能 ( ) 力, 从而更能从本质上反映视频流中镜头切换的频率 即情节的紧张程度 , 也就能更好地满足用户的检索要 求. 本文研究得到国家 863 高科技项目基金和国家“211 ”学科建设项目基金资助. 作者白雪生, 1972 年生, 博士生, 主要 研究领域为基于内容检索, 计算机视觉. 徐