12-新闻类视频结构化要点分析.pptVIP

Propagation from Video Score to Sub-Shot Score IS(i, j) related to sub-shot S(i, j) located at the i-th row and j-th column of Memory Matrix similar subshots should have similar interest scores ( denote similarity score) IS(i, j) could be as close to its initial score IS(i, j)0 as possible IS(i, j) should be in [1,5] 实验 实验比较 Comparison results of video summarization. The bin value denotes the proportion of our results　which are more preferable than the baseline [10] T. Mei, X-S. Hua, C-Z. Zhu, H-Q. Zhou, and S. Li. Home Video Visual Quality Assessment with Spatiotemporal Factors. IEEE Trans. Circuits and Systems for Video Technology, Vol.17, No.6, 2007. [11] X. Qiu, S. Jiang, Q. Huang, and H. Liu. Spatial-Temporal Video　Browsing for Mobile Environment Based on Visual Attention.　Proc. ICME, pp.1282-1285, 2009. * 现有新闻类分析系统 CMU的Informedia 浙江大学计算机系多媒体计算组的新闻视频 分析系统 （体育新闻节目结构化 ） CMU的Informedia 概述： CMU的Informdia Digital Library Project 综合了自然语言理解、图像处理、语音识别和视频压缩等技术，从文本、音频和视频几个角度分析视频，进行结构化。它以新闻广播作为结构化的测试样本，得到了很好的结果。 CMU的Informedia 视频新闻的分析处理步骤： （1）将新闻节目转化为MPEG格式，音频和视频作为独立的流分开处理，保留各自的时间标志。 （2）应用Sphinx－Ⅱ语音识别系统去识别音频流中的语言，并把识别结果翻译成文本。 卡内基梅隆大学的李开复最终实现了第一个基于隐马尔科夫模型的大词汇量语音识别系统Sphinx。此后严格来说语音识别技术并没有脱离HMM框架。 CMU的Informedia 视频新闻的分析处理步骤： （3）判断镜头边缘和镜头中的关键帧。其它的视频处理比如人脸的识别和视频字幕识别都可以应用于新闻节目分析。 （4）如果有视频字幕，视频字幕和语音识别对应起来，这样就能够把语音识别得到的文本的时间信息附给字幕。 CMU的Informedia 视频新闻的分析处理步骤： （5）视频新闻流被分割成独立的新闻故事或段落，可以用于检索或者回放。 （6）构造新闻故事的抽象数据，比如新闻总结、镜头的关键帧、新闻主题和新闻梗概。 （7）视频新闻中的视频（图像）流和音频流结合在一起成为索引，用户通过Information Client的界面搜索视频。 CMU的Informedia CMU的Informedia 现有新闻类分析系统 浙江大学计算机系多媒体计算组的新闻视频分析系统 （针对体育新闻节目结构化 ） 体育新闻节目结构化 为了检验算法的有效性，浙江大学计算机系多媒体计算组设计并实现了一个新闻视频分析系统，该系统是在windows2000环境下用visual C++开发的。该系统包括镜头切分、主持人镜头识别和视频内容分析三大部分。其中视频内容分析出的结果是一个一个内容独立的新闻故事。 体育新闻节目结构化 由于针对的是体育新闻，所以系统主要考虑这两种镜头类型： 主持人新闻报道镜头 体育新闻详细报道镜头 体育新闻节目结构化 在新闻节目中，主持人新闻报道画面多是只有一个主持人在介绍，如图。 体育新闻节目结构化 这个系统中，采用双阈值法来检测镜头边缘。该模块以用户提交的一个视频段作为输入，输出结果为检测出的所有镜头单元。 体育新闻节目结构化 该图显示了提交一段视频体育新闻后的镜头分割结果 体育新闻节目结构化 图中上部分是整个视频新闻中相邻帧之间特征变