遗忘学习综述.pdfVIP

计算机科学与探索1673-9418/2024/18(11)-2872-15

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2405027

遗忘学习综述

1,2+2

何黎松，杨洋

1.西安交通大学管理学院，西安710049

2.西安欧亚学院金融与数据科学学院，西安710065

+通信作者E-mail:helisong@

摘要：为了有效保护数据隐私并实现“被遗忘的权力”，需要从机器学习模型中消除特定训练数据子集的影

响，并确保这些数据不会被反向推测。为了解决这一问题，近年来形成了“遗忘学习”的研究领域。从定义、度

量方法和算法三个方面全面介绍遗忘学习的研究进展。梳理了遗忘学习的核心概念定义和评价指标，并着重

分析了可认证性指标的重要意义。按照算法设计原理将遗忘算法划分为结构化初训练、影响函数近似估计、

梯度更新、噪声遗忘、知识蒸馏遗忘和边界遗忘六大类，并详细介绍了其中九种代表性的遗忘学习算法及其演

变。在总结比较已有算法优劣基础上，讨论了遗忘学习统一框架的意义，并分析了遗忘学习研究与隐私保护

的理论和实践关系。展望了遗忘学习未来的研究方向，包括：机器学习的公平性、迁移学习和强化学习等子领

域尚需拓展遗忘学习算法；未来遗忘算法有可能综合多种设计思路；遗忘实践需要技术与法规的协同合作；遗

忘学习与增量学习的统一将有助于提高机器学习模型的管理和运营效率。

关键词：数据隐私保护；遗忘学习；可认证性；统一框架

文献标志码：A中图分类号：TP181

ReviewofMachineUnlearning

HELisong1,2+,YANGYang2

1.SchoolofManagement,XianJiaotongUniversity,Xian710049,China

2.SchoolofFinanceandDataScience，XianEurasiaUniversity，Xian710065,China

Abstract:Toeffectivelyprotectdataprivacyandimplementthe“righttobeforgotten”,itisnecessarytoeliminate

theinfluenceofspecificsubsetsoftrainingdatafrommachinelearningmodelsandensurethatthesedatacannotbe

reverse-engineered.Toaddressthisissue,theresearchfieldof“machineunlearning”hasemergedinrecentyears.

Thispaperreviewstheprogressinmachineunlearningresearchfromthreeaspects:definitions,metrics,andalgo-

rithms.Firstly,itsystematicallyoutlinesthecoreconcepts,definitions,andevaluationmetricsofmachineunlearning,

emphasizingthecriticalsignificanceofcertifiabilitymetrics.Secondly,itcategorizesunlearningalgorithmsintosix

majorclassesbasedontheirdesignprinciples:structuredinitialtraining,influencefunctionsapproximate,gradient

updates,noiseunlearning,knowledgedistillationunlearning,andboundaryunlearning.Itpro