基于统计机器翻译的视频描述自动生成-计算机科学与工程专业论文.docxVIP

万方数据 万方数据 Submitted in total fulfilment of the requirements for the degree of Master in Computer Science and Engineering Generating Natural Language Descriptions for Video Content using Statistical Machine Translation Wei Qiu Supervisor Prof. Tianfang Yao Depart of Computer Science and Engineering , School of Electronic Information and Electrical Engineering Shanghai Jiao Tong University Shanghai, P.R.China Jan. 13th, 2015 上海交通大学硕士学位论文 摘要 基于统计机器翻译的视频描述自动生成 摘 要 人类使用丰富的自然语言来描述交流视觉可见的信息，例如视频、图像等。 本文将描述一种针对视频的自动生成自然语言描述的方法。本文的方法分成两 个主要步骤：首先，基于视频内容，我们抽取出表征其关键信息的语义表示（其 中包括了视频中的活动，活动的客体等）。第二步, 我们基于抽取出来的语义表 示生成自然语言描述。与传统的自然语言生成不同，在本文中我们将由语义表 示到自然语言的转换过程抽象为一个统计机器翻译问题：视频的语义表示在统 计机器翻译的框架下作为源语言，自然语言描述则作为目标语言。我们采用 TACoS[1] 作为平行语料库，从中学习统计机器翻译模型。TACoS 中包含了视频 片段，对应的底层语义信息标注以及人工标注的视屏片段描述。为了减小从视频 中抽取出的语义表示中包含的噪声对生成自然语言质量的影响，我们采用 word lattice 结构来表征多个具有不同概率的视频语义表示，进而采用 word lattice 解 码来翻译得到最终的自然语言描述。实验结果显示，我们的方法无论使用通用 的机器翻译自动评价指标 BLEU，还是使用人工评价指标，都比已有的相关工作 有着显著的提高。在类似的针对图像生成描述的任务上，我们的结果也要优于 目前其他方法取得的最好结果。 关键词： 统计机器翻译 自然语言生成 视频描述生成 i — 上海交通大学硕士学位论文 ABSTRACT Generating Natural Language Descriptions for Video Content using Statistical Machine Translation ABSTRACT Humans use rich natural language to describe and communicate the visual content such as videos and images. In this thesis we employ a two-step approach to generate natural language descriptions for videos automatically. In the first step, a rich semantic representation of the visual content including e.g. activities and objects are predicted. In the second step, we approach the generation from predicted semantic representations as a statistical machine translation problem. The semantic representation is considered as source language and the natural language description is treated as the target language. We learn the translation model from a parallel corpus namely TACoS [1] which consists of video snippets, low-level annotation and corresponding natural language descriptions. We also apply word lattice decoding to deal with the unc