基于神经元统计建模分析的模型不确定性度量.pdfVIP

计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:csa@

ComputerSystemsApplications,2024,33(7):14−25[doi:10.15888/ki.csa.009585]

©中国科学院软件研究所版权所有.Tel:+86-10

基于神经元统计建模分析的模型不确定性度量①

雷雅婧

(复旦大学计算机科学技术学院,上海200438)

通信作者:雷雅婧,E-mail:21210240059@

摘要:神经网络的不确定性反映模型对自身预测结果的置信水平,能在决策不可靠时促使及时的人工干预,提升

系统安全性.然而,现有度量方法常需要对模型或训练过程进行显著修改且实施复杂度高.为此,本文提出一种基于

神经元统计建模分析的不确定性度量方法.该方法充分利用模型单次前向传播过程中的激活值,首先以改进的核密

度估计技术构建神经元的激活分布,模拟神经元的正常工作范围.接着采用邻域加权密度估计方法计算异常因子,

用以量化测试样本与神经元激活分布的偏离程度.最终通过统计方法综合各神经元的异常因子作为样本的异常统

计量,为模型不确定性的评估提供新的视角.实验结果涵盖多个公开数据集和模型,通过可视化特征图直观展示本

文方法在区分域内外样本方面的显著效果.此外,本文方法在域外检测任务中表现出卓越性能,AUROC指标在多

种实验设置下均超越其他现有方法,验证提出方法的通用性和有效性.

关键词:不确定性分析;深度学习;激活分布;异常因子;域外检测

引用格式:雷雅婧.基于神经元统计建模分析的模型不确定性度量.计算机系统应用,2024,33(7):14–25./1003-

3254/9585.html

ModelUncertaintyMeasurementBasedonNeuronStatisticalModelingandAnalysis

LEIYa-Jing

(SchoolofComputerScience,FudanUniversity,Shanghai200438,China)

Abstract:Theuncertaintyofneuralnetworksreflectsthepredictiveconfidenceofdeeplearningmodels,enablingtimely

humaninterventioninunreliabledecision-making,whichiscrucialforenhancingsystemsafety.However,existing

measurementmethodsoftenrequiresignificantmodificationstothemodelortrainingprocess,leadingtohigh

implementationcomplexity.Toaddressthis,thisstudyproposesanuncertaintymeasurementapproachutilizingneuron

statisticalmodelingandanalysiswithactivationvalueswithinasingleforwardpropagation.Animprovedkerneldensity

estimationtechnologyisemployedtoconstructneuronactivationdistributionsandstimulateneuronnormaloperating

range.Subsequently,aneighborhood-weighteddensityestimationmethodisutilizedtoc