基于自训练的半监督学习研究综述.docVIP

基于自训练的半监督学习研究综述

一、自训练半监督学习的核心内涵与基础框架

自训练作为半监督学习领域最具代表性的范式之一，其核心逻辑是通过模型自身的预测结果对未标注数据进行伪标注，再将伪标注数据与少量真实标注数据混合参与模型迭代训练，从而实现对未标注数据蕴含的分布信息的有效利用。与生成式半监督学习依赖数据分布假设、半监督SVM依赖最大间隔约束、图半监督学习依赖样本相似性图结构的技术路径不同，自训练不引入额外的归纳偏置，仅通过模型的自我迭代优化完成知识蒸馏，因此具备更强的通用性和场景适配能力，在计算机视觉、自然语言处理、语音识别等领域均已得到广泛应用。

经典自训练框架包含四个核心组件：基础模型、标注数据集、未标注数据集、置信度筛选模块。其标准训练流程可分为三个阶段：第一阶段为初始化阶段，使用少量真实标注数据对基础模型进行预训练，使其具备初步的特征提取和预测能力；第二阶段为伪标注生成阶段，将未标注数据输入当前模型得到预测结果，通过置信度阈值、不确定性评估等机制筛选出高置信度的预测样本，为其分配伪标签；第三阶段为迭代更新阶段，将高置信度伪标注样本与原始标注样本混合，对模型进行新一轮训练，之后重复第二、第三阶段直至模型收敛或达到预设迭代次数。在这一过程中，模型的预测能力不断提升，能够逐步对更复杂的未标注样本生成可靠伪标签，最终实现对整体数据分布的充分学习。

自训练的有效性建立在两个基本假设之