基于多模态特征融合的新闻故事单元分割.pdfVIP

第38卷 第24期 计 算 机 工 程 2012年 12月 V01．38 N0．24 ComputerEngineering December2012 ·人工智能及识别技术 · 文章缩号t1000—-3428(2o12)24—_0l61—_05 文献标识码：A 中圈分类号lTP391 基于多模态特征融合的新闻故事单元分割 刘嘉琦 lj封化民 ，闫建鹏 (1．西安电子科技大学通信工程学院，西安 710071；2．北京电子科技学院，北京 100070) 摘 要：对新闻视频进行结构分析，提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流，选择静 音区间为音频候选点，将镜头边界切变点作为视频候选点，做主持人镜头和主题字幕的探测，挑选主持人镜头为候选区间，并记录主题字 幕的起始位置和结束位置，利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕，对新闻视频进行故事单元分割。实验结果 表明，该方法的查全率为 83．18％，查准率为 83．92％。 关健词：新闻视频；多模态特征；字幕；音频；故事单元分割 NewsStoryUnitSegmentationBased0nM ulti—modalFeatureFusion LIU Jia-qi，FENGHua-min’，YAN Jian-peng (1．SchoolofTelecommunicationEngineering，XidianUniversity,Xi’an710071，China； 2．BeijingElectronicScienceandTechnologyInstitution，Beijing100070，China) [AbstraetlNewsstoryunitsegmentationmethodbasedonmulti-modalfeautrefusionisproposedinthispaperbyanalyzingnewsvideostructure． Newsvideoisdividedintoaudiostream na dvideosrteam．Muteintervalsaredetectedasaudiocandidatepoints，andtheshotsegmentationsfor newsvideoaredetectednadshotboundarypointsarechosenasvideocandidatepoints，anchorpersonshotandtopiccaptionraedetected．Storyunits aredetectedbyfusingaudiocnadidatepoints，videocandidatepoints，anchorpersonshotnadtopiccaptionbasedontimeaxis．Experimentalresults show thathtismehtodcanget83．18％ inrecallnad83．92％ inprecision： [Keywordsinewsvideo；multi-modalfeature；caption；audio；storyunitsegmentation DOI：10．3969j／．issn．1000—3428．2012．24．038 事单元能够表达同一主题，这样更便于人们的理解。故事 1 概述 ． 单元反映的是视频流的高层语义，更符合人们的思维方 近年来随着数据压缩、通信、存储技术的飞速发展， 以及计算机性能的不断提高和网络的广泛普及，多媒体视 式，是建立视频索引的最佳层次。因此，基于内容的故事 频的应用得到了极大的发展。尤其是新闻视频己成为人们 单元层的正确分