标签增强的中文看图造句-计算机学报.PDF

第卷第期 ４２ １ 　 　　　　　　　　 Ｖｏｌ．４２Ｎｏ．１ 年月 ２０１９１ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊａｎ．２０１９ 　 标签增强的中文看图造句 蓝玮毓王晓旭杨刚李锡荣 　 　　　 中国人民大学数据工程与知识工程教育部重点实验室北京 （ ） １００８７２ 　 　 中国人民大学信息学院多媒体计算实验室北京 ） （ １００８７２ 　 　 摘要图像数据飞速增多，而计算机与人对图像数据的理解间存在语义鸿沟如何有效地理解、管理和组织图像 ． 　　 数据是学术界和工业界面临的一个重大挑战利用计算机自动生成能够描述图像内容的自然语言描述有助于弥合 ． 语义鸿沟，从而提升对图像数据的理解现有工作致力于英文句子生成与之不同的是，该文实现了一个面向中文的 ． ． 看图造句系统通过大规模机器翻译克服了中文训练数据缺乏的问题，同时提出了结合中文标签自动预测，对深度模 ． ， 型预测句子进行重排序的增强方法改善句子生成质量在两个中文图像句子数据集 和 ． Ｆｌｉｃｋｒ８ｋｃｎＦｌｉｃｋｒ３０ｋｃｎ ， （ ） 上的实验表明该文提出的标签增强方法可以有效改善现有两种看图造句模型 模型和 模型所 Ｇｏｏｌｅ Ａｔｔｅｎｔｉｏｎ ｇ 生成句子的质量标签增强使得 模型在 测试集上的 指标从 提高到 ， ． Ｇｏｏｌｅ Ｆｌｉｃｋｒ８ｋｃｎ ＣＩＤＥｒ ０．４７４ ０．５０３ 《 ｇ 测试集上的 指标从 提高到 通过标签增强， 模型在这两个数据集上的 Ｆｌｉｃｋｒ３０ｋｃｎ ＣＩＤＥｒ ０．３２５ ０．３５６． Ａｔｔｅｎｔｉｏｎ 分别从 提高到 ，从 提高到到 ＣＩＤＥｒ ０．５１０ ０．５３６０．３９２ ０．４１１． 关键词 计 图像句子生成；中文模型；中文标签预测；深度学习；机器翻译 　 中图法分类号 号 ／