基于卷积神经网络的声学场景分类算法研究.pdf

第 26 卷 ，第 2 期 中国传媒大学学报 （自然科学版） Vol 26 ，No 2 20 19 年 4 月 JOURNAL OF COMMUNICATION UNIVERSITY OF CHINA （SCIENCE AND TECHNOLOGY ） Apr ，20 19 基于卷积神经网络的声学场景分类算法研究 赵薇ꎬ黄敬雯ꎬ靳聪ꎬ徐陈缘 (中国传媒大学 信息与通信工程学院ꎬ北京 １０００２４) 摘要:声学场景中包含着很多长时特征和短时特征ꎮ 本文提取环境声的能量信息ꎬ批量生成声音场景的三维语谱 图ꎬ作为卷积神经网络的输入ꎮ 神经网络采用卷积层和下采样层重复交叠ꎬ整体网络采用六层网络结构ꎬ最终经过 ｓｏｆｔｍａｘ方法进行多分类ꎮ 实验采用ＤＣＡＳＥ２０１７ 竞赛数据集作为素材ꎬ对１５ 类６３００段音频进行训练测试ꎬ结果表 明ꎬ语谱图特征与卷积神经网络相结合的算法能够很好的提取长时特征和短时特征ꎬ使得最终分类准确率较高ꎬ优 于网站基线系统的分类结果ꎮ 关键词:声学场景ꎻ语谱图ꎻ卷积神经网络 中图分类号:ＴＰ２７３＋.２１　 文献标识码:Ａ　 文章编号:１６７３－４７９３(２０１９)０２－００２４－０７ Ｒｅｓｅａｒｃｈ ｏｎ Ａｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＺＨＡＯ ＷｅｉꎬＨＵＡＮＧＪｉｎｇ￣ｗｅｎ (Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ＥｎｇｉｎｅｅｒｉｎｇꎬＣｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ ＣｈｉｎａꎬＢｅｉｊｉｎｇ １０００２４ꎬＣｈｉｎａ) Ａｂｓｔｒａｃｔ:Ｔｈｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｓｏｕｎｄｆｅａｔｕｒｅｓｉｓａｎｉｍｐｏｒｔａｎｔｐａｒｔ ｏｆ ｓｏｕｎｄ ｓｃｅｎｅｒｅｃｏｇｎｉｔｉｏｎ. Ｉｎｔｈｉｓｐａｐｅｒꎬ ｔｈｅ ｅｎｅｒｇｙ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｅｘｔｒａｃｔｅｄ ｓｏｕｎｄ ｉｓｔｒａｎｓｆｏｒｍｅｄ ｉｎｔｏ ａ ｍａｓｓｓｐｅｃｔｒｕｍ ｍａｐ ａｓｔｈｅ ｉｎｐｕｔ ｏｆ ｔｈｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｂｙ ｇｅｎｅｒａｔｉｎｇ ｔｈｅ ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｓｐｅｃｔｒｏｇｒａｍ ｏｆ ｔｈｅ ｓｏｕｎｄ ｓｃｅｎｅ. Ｔｈｅ ａｃｏｕｓｔｉｃ ｆｅａｔｕｒｅｓ ａｒｅ ｄｅｅｐｌｙ ｅｘｔｒａｃｔｅｄ ａｎｄ ａｎａｌｙｚｅｄꎬａｎｄ ｆｉｎａｌｌｙ ｃｌａｓｓｉｆｉｅｄ ｂｙ ｓｏｆｔｍａｘ ｌａｙｅｒ. Ｔｈｅ ｅｘｐｅｒｉ￣ ｍｅｎｔａｌ ｒｅｓｕｌｔｓｓｈｏｗ ｔｈａｔ ｔｈｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｈａｓｂｅｔｔｅｒ ｐｅｒｆｏｒｍａｎｃｅｆｏｒ ｉｍａｇｅｆｅａｔｕｒｅ ｅｘｔｒａｃ￣ ｔｉｏｎ ｔｈａｎｏｔｈｅｒ ｄｅｅｐ ｎｅｔｗｏｒｋｓ. Ｔｈｅ ｓｐｅｃｔｒａｌｆｅａｔｕｒｅｓｏｆ ｓｏｕｎｄａｒｅｃｏｍｂｉｎｅｄｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔ￣ ｗｏｒｋｓ. Ｔｈｅ ａｂｉｌｉｔｙ ｔｏ ｅｘｔｒａｃｔ ｌｏｎｇ－ｔｅｒｍｆｅａｔｕｒｅｓｃａｎ ａｌｓｏ ｅｘｔｒａｃｔ ｓｈｏｒｔ－ｔｅｒｍｆｅａｔｕｒｅｓꎬｒｅｓｕｌｔｉｎｇ ｉｎ ｈｉｇｈｅｒ ｆｉｎａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ. Ｋｅｙ ｗｏｒｄｓ:Ａｃｏｕｓｔｉｃ ｓｃｅｎｅꎻｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎꎻｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ 和利用的关键技术之一ꎮ 音频分类是提取音频结构 １　 引言 和内容语义的重要手段ꎬ基于内容的音频、视频检索