面向对话场景的多模态手语识别与翻译方法研究.pdfVIP

摘摘摘要要要

手语是听障人士使用的主要语言。为辅助听障人士更好地融入社会，通过手

语识别技术将手语动作转化为手语词序列，或通过手语翻译技术生成与手语内

容一致的文本，具有重大意义。尽管手语识别与翻译的相关研究已取得一定进

展，但从辅助听障人士与听人的无障碍对话角度出发，目前还缺乏手语-文本的

多模态内容理解相关研究。一方面，在听障人士与听人的对话场景中，文本模

态的对话信息可以用来辅助手语识别与翻译，需要有效地融合不同模态的数据，

以提升手语识别与翻译的精度。另一方面，对话信息在实际应用场景中未必能够

被获取，使用对话信息训练的手语识别与翻译模型在缺少对话信息时，其精度不

能出现明显的下降。因此，本文从以下两方面展开研究：

1.针对如何利用对话信息提升手语识别与翻译精度这一问题，本文提出了

一种基于多模态Transformer的对话场景手语识别与翻译方法。该方法同时输入

成对的对话文本句子和手语视频，在提取手语视频和对话文本的特征后，使用

手语-文本多模态编码器对两种模态的特征进行融合，并联合训练手语识别解

码器和手语翻译解码器。该方法的创新点在于：通过联合交互注意力和自注意

力，能够有效地融合对话文本句子和手语视频这两种模态的信息。本文在德国手

语数据集Phoenix2014T的基础上，构建了面向对话场景的数据集Phoenix2014T-

Dialogue，并进行了实验，结果证明该方法能有效利用对话信息提升手语识别与

翻译的精度。

2.针对如何在缺少对话信息的情况下保证手语识别与翻译精度这一问题，

本文提出了一种基于多模态知识蒸馏的手语识别与翻译方法。由于知识蒸馏可以

递跨模态知识，本文提出了三种教师模型：文本-手语对话教师模型，将其学

习的多模态对话知识递给手语识别模型，此教师模型结构与研究内容1中的对

话场景手语识别模型一致；文本-gloss机器翻译模型和gloss-文本机器翻译模型，

将文本模态的知识递给手语识别模型和手语翻译模型。该方法的创新点在于：

使用跨模态的对话信息和文本信息辅助手语识别与翻译模型的训练，为训练提

供更加丰富的监督信息。在Phoenix2014T-Dialogue数据集上进行的实验表明，该

方法通过在训练阶段利用对话信息进行知识蒸馏，在测试阶段不输入对话信息

的情况下，能够保证手语识别与翻译取得较高的精度。

关键词：手语识别，手语翻译，多模态融合，知识蒸馏，对话场景

I

ABSTRACT

Signlanguageisthemainlanguageofthehearing-impaired.Tohelpthehearing-

impairedtoassimilateintothecommunity,itisimportanttousesignlanguagerecog-

nition(SLR)toconvertasignlanguagemotionsequenceintoasignlanguageword

sequence,orusesignlanguagetranslation(SLT)togeneratecorrespondingnaturallan-

guagetext.DespitethegreatprogressofSLRandSLT,thereisstillalackofresearch

onsign-textmulti-modalcontentunderstandingfromtheperspectiveofbarrier-freedi-

aloguebetweenthehearing-impairedandthehearing.Ontheonehand,inthedialogue

betweenthehearing-impairedandthehearing,textualdialogueinformationcanassist

SLRandSLT,integratemulti-modalsign-textfeaturesandi