深度学习与新媒体互动技术在保护羌族语言及文化的研究与应用.pdfVIP

深度学习与新媒体互动技术在保护羌族语言及文化的研究

与应用

摘要

羌族是中国西部一个渊源悠长的少数民族，而作为羌族文化和精神载体的

羌语，能掌握和使用的人却越来越少。包括投影互动技术和实体互动技术在内

的新媒体互动技术作为一种令人印象深刻的方法，能够更好地营造沉浸式环

境，近年来在传统文化的保护与发扬方面发挥了重要作用。同时，语音识别作

为新媒体互动技术的一种，近年来发展迅速，被广泛应用于各种领域。羌语是

低资源语言中的一种，缺乏公开数据集，是一种低资源语言。由于缺少训练数

据，导致基于低资源语言的语音识别系统通常效果较差，这也影响了羌语的数

字化传承和保护。本文围绕深度学习和新媒体互动技术如何帮助羌族语言和文

化的传承，进行了以下的研究工作：

第一，在羌族聚居地进行了一系列的实地调研，通过设计语料内容和自行

录制与处理语料音频，构建了一套羌语语料库。从中选择了8个羌语词汇作为

羌语孤立词识别模型的识别任务。在作为深度学习的训练数据前，对音频数据

进行适当的预处理，并进行特征提取，同时使用GAN模型进行语谱图的特征

增强，取得了较好的图谱增强和扩展效果。

第二，提出了基于深度学习的羌语孤立词识别模型。通过设计对比实验，

比较了CRNN-CTC，LSTM，LSTM-HMM三种模型的识别性能。以自主建立

的羌语语料库的扩展为目标数据集，并将模型压缩技术和LSTM-HMM模型进

行结合，提升了模型的运算性能。

第三，为了研究新媒体互动技术在保护羌族语言与文化上的作用，本文将

羌语语音识别系统和新媒体互动技术相结合，设计并实现了一套羌语学习系

统。并使用羌语语音识别模型实现了在复杂噪声环境下进行实时孤立词识别的

系统功能。同时通过对用户的远程验证和现场测试验证了方案的有效性。

结果表明，本文提出的基于深度学习方法的羌语孤立词识别模型相比基线

有一定的性能提升，设计和实现的基于互动投影的羌语学习系统在振兴羌族语

言和文化方面也是有效的。这表明新媒体技术的合理运用对于少数民族语言和

文化的传承有着积极作用，也为其他非物质文化遗产的信息化保存和传承发展

提供了可参考的方向。

关键词：交互设计，低资源语言，孤立词识别，数据增强，模型压缩

ResearchandApplicationofDeepLearningandNewMedia

InteractionTechnologyintheProtectionofQiangLanguageand

Culture

ABSTRACT

QiangisanethnicgroupwithalonghistoryinwesternChina.However,asthe

carrierofQiangcultureandspirit,fewerandfewerpeoplecanmasteranduseQiang

language.Asanimpressivemethodtobettercreateanimmersiveenvironment,new

mediainteractiontechnologies,includingprojectioninteractiontechnologyand

physicalinteractiontechnology,haveplayedanimportantroleintheprotectionand

developmentoftraditionalcultureinrecentyears.Atthesametime,speech

recognition,asakindofnewmediainteractivetechnology,hasdevelopedrapidl