基于深度特征融合的鸟鸣识别方法及其可解释性分析.pdfVIP

2023, 31 (7): 23087, pages 1– 10 doi: 10.17520/biods.2023087 •技术与方法• 基于深度特征融合的鸟鸣识别方法及其可解释性 分析 1 1 2 2 3 1* 蔡建民 , 何培宇 , 杨智鹏, 李露莹, 赵启军, 潘帆 1. 四川大学电子信息学院, 成都 610065; 2. 成都信息工程大学电子工程学院, 成都 610225; 3. 四川大学计算机学院, 成都 610065 摘要: 鸟鸣识别是生态监测的重要手段, 为进一步提升鸟鸣识别的准确性和鲁棒性, 本文提出了1种新的基于深度特征融 合的鸟鸣识别方法。该方法首先利用深度特征提取网络对鸟鸣的对数梅尔谱图和补充特征集的深度特征进行提取, 再将两 种深度特征进行融合, 最后使用轻量级梯度提升机(light gradient boosting machine, lightGBM)分类器进行分类。本文充分利 用深度神经网络的特征提取能力以及lightGBM 的分类性能, 将特征提取和特征分类过程进行分离, 从而实现了高准确率 的鸟鸣识别。实验结果显示, 本文提出的方法在北京百鸟数据集中取得了目前已知的最佳结果, 模型的平均准确率达到了 98.70%, 平均F 分数达到了98.84% 。相比传统方法, 深度融合特征在鸟鸣识别任务上准确率提升了5.62% 以上。同时, 引 1 入的lightGBM分类器使分类准确率提升了3.02% 。此外, 在CLO-43SD和BirdCLEF2022 比赛的数据集中, 本文方法也展现 出卓越的性能, 分别取得了98.32%和91.12% 的平均准确率。本文还引入了类激活图对不同类型鸟鸣的识别结果进行可解 释性分析, 揭示了神经网络对不同类型鸟鸣的注意力区域差异, 为后续的特征选择和模型优化提供了理论依据。研究结果 表明, 本文方法有效提高了鸟鸣识别的准确率, 在3个数据集的测试中均展现出较好的性能, 能够为基于鸟鸣识别的生态 监测提供有力的技术支撑。 关键词: 鸟鸣识别; 特征融合; 可解释性分析; 深度学习; lightGBM 蔡建民, 何培宇, 杨智鹏, 李露莹, 赵启军, 潘帆 (2023) 基于深度特征融合的鸟鸣识别方法及其可解释性分析. 生物多样性, 3 1, 23087. doi: 10.17520/ biods.2023087. Cai JM, He PY, Yang ZP, Li LY, Zhao QJ, Pan F (2023) A deep feature fusion-based method for bird sound recognition and its interpretability analysis. Biodiversity Science, 31, 23087. doi: 10.17520/biods.2023087. A deep feature fusion-based method for bird sound recognition