一种双层新闻逻辑单元分割框架.pdfVIP

一种双层新闻逻辑单元分割框架 范竟往1翟晓飞2封化民3杨鼎才1方勇2，3 1(燕山大学信息工程学院，秦皇岛，066004) 2(北京邮电大学电信工程学院，北京，100876) 3(北京电子科技学院信息安全与保密重点实验室，北京，100070) 摘要：本文采用一种双层混合模型将新闻视频分割为逻辑故事语义单元序列。谊双层混合 模型是Chaisorn和Chua[2003]等提出的混合模型的扩展，加入了主题标题、主题镜头、人脸 个数和人脸位置等特征以及一个基于内容的相似模捷和基于启发式规则的预分割模块等。谊 系统在镜头层和故事屡分剐采用决策树和隐式马尔可夫算法。经过24个小时(967个故事单 元)的CCTV国际频道的新闻节目对模型进行训练乖18个小时(718个故事单元)的CCTV 和其他新闻节目进行测试，试验表明该系统取得了对CCTV新闻故事单元边界检测达到 81．5％的F·值。 关键词：特征提取；镜头分类；HMM；故事边界检测 1．引言 视频分割和视频分类一直都是多媒体领域的一个热门话题，很多学者在这一领域做了 很多工作。大体上可以分为两大类：镜头的分类和故事单元的检测。在镜头分类方面Zhou 等…利用运动、颜色和边缘特征并采用一种基于规则的方法来对篮球视频进行镜头的分类。 Chen和Wongf”也采用基于规则的方法结合运动、颜色、标题和相角特征将新闻视频划分 为：天气预报、报道、广告、足球和篮球六类。在故事单元检测领域，大多数研究都采用 了HMM的方法来检测边界。Eickeler等人[31从帧间的色彩直方图和运动强度的变化中提取 特征，然后引入HMM将视频序列分为：广播员、报道、天气预报、开始、结束和经过编 辑的场景六类。Chaisorn和Chtla[41等提出了一种混合模型的方法来对新闻视频进行不同层 的分析和处理，该方法虽然较好地利用了分层的处理方式，但并不足以充分地表述新闻视 频的模式。 经过大量的观察统计分析，我们发现在新闻视频中存在主题标题和主题镜头这种特 征，于是我们对双层混合模型【41进行了扩展，对原框架中加入了主题标题、主题镜头特征 以及基于启发式规则的预分割模块。同时为了提高主持人镜头的识别率进而提高整个系 统性能，我们提取了人脸大小和人脸位置两个特征并加入一个基于相似性的匹配算法(这 里我们称为语义相似模块)对决策树进行校正，因此我们的系统是一种改进的新型新闻 视频分割框架。 资助项目：国家自然科学基金项目【项目号t corn 联系作者：范竟往．硕上，E-mail：fartjingwang@163 76 第一部分第十四届全国多媒体技术学术会议 2．改进的新闻视频逻辑单元分割框架 2．1新闻视频的逻辑结构 新闻视频在结构上具有一定规律性，一段新闻节目都是以一些内容提要镜头开始，然 后报道一个个故事，最后大多以天气预报结束，在播报中往往还会穿插一些广告。如图1 所示。 图1新闻视频逻辑结构 在这种结构中，我们把具有特定模式标题的镜头称作主题镜头(如图1中Title)。这些 标题一般出现在屏幕下方，具有一定轮廓和颜色，说明一段故事的主题。由于主题镜头的 存在，新闻中的故事单元不仅仅是以主持人镜头(Anchor)作为开始和结束，主题镜头也 是一种开始和结束的标志。比如播报简讯时(如图1中图片)，就是以主持人镜头开始，后 接几个分别以主题镜头开始的新故事单元。 基于这种复杂的新闻视频模式，我4fJg『入隐式马尔可夫模型，通过加入主题特征以期 对新闻视频序列进行更加充分地表述。 2．2整体框架 考虑到HMM特别适合于动态离散量序列，我们采用了类似文献『41中的双层混合模型 的框架并作了扩展。整个系统的框架如图2所示。 其中： AC．音频分类，sD一镜头持续，Fs．人脸大小，MA．运动强度，TC，主题捕捉，CT一多行文本，FP．^脸位置AF一 音频特征，FN．^脸个数 图2系统框架 首先我们采用ⅢM的“VideoAnnEx”将新闻视频分割为一个个镜头，对每个镜头的音 一 !童堡堡里