CryptNLP：基于安全多方计算的自然语言处理模型.pdfVIP

CryptNLP:基于安全多方计算的自然语言处理模

型

摘要

自然语言处理是人工智能的一个子领域，旨在让计算机理解和使用人类的语言，从

而执行某些任务，例如文本分类、智能搜索引擎、聊天机器人等。现有主流的自然语言

处理深度学习模型主要聚焦于训练效率的优化及训练结果准确率的提升，但是在实际应

用场景中输入数据的隐私性也不容忽视。现阶段，各大公司均建立了自己的语料库，仅

依靠单个公司不足以训练出符合需求的大型深度学习模型，因此如何联合不同主体的数

据训练模型，并保证各主体数据的隐私性等问题倍受关注。对模型的联合训练需要解决

深度学习模型分布式训练问题及各参与方私有输入的隐私性问题，针对这两个问题本文

将安全多方计算技术引入自然语言处理领域。

论文实现了一种基于经典自然语言处理模型Transformer及安全多方计算技术的分

布式自然语言处理安全训练模型CryptNLP，本模型使用将安全多方计算技术用于机器

学习领域的方法以实现模型的分布式训练及各参与方私有数据集的安全性保护，通过秘

密分享及近似计算等方式，实现了多头注意力计算、前馈神经网络等非线性运算组件。

基于安全多方计算技术，模型在训练前会先对各方的输入做秘密分享处理，并在整个训

练过程中使数据保持秘密分享状态，各方只需在本地使用获得的秘密分享值进行模型的

训练，过程中只需少量的通信，直至训练完成重构秘密，各方无法获得任何有关其他参

与方私有输入的更多信息。此外，本文基于PyTorch平台对CryptNLP模型的开销、可

行性和有效性进行了评估。实验表明，60-70倍原模型的训练开销为代价，在保证私有

输入安全性的同时CryptNLP模型损失率的下降趋势与准确率的上升趋势可达到原模型

的90%以上。

关键词：深度学习;自然语言处理;安全多方计算;秘密分享

I

CryptNLP:NaturalLanguageProcessingModel

BasedonSecureMultipartyComputing

Abstract

NaturalLanguageProcessing(NLP)isasubfieldofartificialintelligenceaimedatenabling

computerstounderstandandusehumanlanguagetoperformtaskssuchastextclassification,

intelligentsearchengines,chatbots,andmore.Currentmainstreamdeeplearningmodelsfor

NLPprimarilyfocusonoptimizingtrainingefficiencyandimprovingaccuracy.However,the

privacyofinputdatainpracticalapplicationscannotbeignored.Atpresent,majorcompanies

haveestablishedtheirowncorpora.Relyingsolelyondatafromasinglecompanyisinsufficient

totrainlarge-scaledeeplearningmodelsthatmeetrequirements.Therefore,issuessuchashow

tocollaboratewithdifferententitiestotrainmodelsandensuretheprivacyofeachentity’sdata

haveattractedmuchattention.Federatedlearningneedstoaddresstheproblemsofdistributed

trainingofdeeplearningmodelsandtheprivacyofprivateinputsfromeachparticipant.This

paperintroducessecuremultip