基于深度集成的分类不确定性估计研究综述.docVIP

基于深度集成的分类不确定性估计研究综述

一、深度集成不确定性估计的基础理论框架

深度神经网络的分类决策过程本质上是对高维数据分布的非线性拟合，其输出的概率值往往反映的是模型对预测结果的置信度而非真实不确定性。在传统深度学习范式中，单点估计的模型参数仅能捕捉训练数据的经验风险，无法量化因数据噪声、模型结构偏差、分布偏移等因素导致的认知不确定性与偶然不确定性。深度集成方法的核心逻辑在于通过多个独立训练的基模型构建预测空间的采样集合，利用基模型间的预测分歧度量化不确定性，其理论基础可追溯到贝叶斯模型平均的近似实现。

深度集成的不确定性分解框架是当前研究的核心基础。学界普遍将分类任务的总不确定性划分为两个正交维度：偶然不确定性（AleatoricUncertainty）与认知不确定性（EpistemicUncertainty）。前者源于数据本身的噪声与标签歧义，是数据固有属性，无法通过增加训练样本消除；后者则来自模型对数据分布的认知不足，随训练数据量增加可逐步降低。深度集成通过对多个基模型的预测分布进行统计分析，能够实现两类不确定性的定量分离：偶然不确定性通常由基模型平均预测熵衡量，反映数据本身的模糊性；认知不确定性则由基模型预测结果的互信息或KL散度方差衡量，反映模型间的共识程度。近期研究进一步提出了高阶不确定性分解方法，将分布偏移下的分布外不确定性（Out-of-Distribut