一种适用于政务区块链的跨模态人脸生成模型.pdfVIP

第４８卷第２期南京师大学报(自然科学版)Ｖｏｌ４８Ｎｏ２

２０２５年４月ＪＯＵＲＮＡＬＯＦＮＡＮＪＩＮＧＮＯＲＭＡＬＵＮＩＶＥＲＳＩＴＹ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)Ａｐｒ.ꎬ２０２５

－

ｄｏｉ:１０.３９６９/ｊ.ｉｓｓｎ.１００１４６１６.２０２５.０２.０１１

一种适用于政务区块链的跨模态人脸生成模型

１１１１１２１

崔思颖ꎬ谭志杰ꎬ袁想ꎬ李伟平ꎬ莫同ꎬ乔秀全ꎬ吴中海

(１.北京大学软件与微电子学院ꎬ北京１０２６００)

(２.北京邮电大学网络与交换技术国家重点实验室ꎬ北京１００８７６)

[摘要]如今ꎬ区块链技术被应用到包含电子证照、人脸图像等政府数据共享领域ꎬ但当前的大型区块链系统

普遍面临低带宽和高存储成本的问题.本文提出了一种适用于政务区块链的跨模态人脸生成模型ꎬ将人脸图像

转换为文本模态存储在链上ꎬ用户可使用文本与掩膜生成指定人的人脸图像.首先利用多任务学习方法训练基

于ＲｅｓＮｅｔ￣１８网络结构的人脸分类器ꎬ将人脸图像转换为身份代号文本存储在链上.然后设计了区域感知码本

和基于Ｔｒａｎｓｆｏｒｍｅｒ结构的混合专家采样器ꎬ采样器采用扩散模型的方法从码本中采样索引ꎬ采样结果由一个可

学习的解码器转换成细粒度的人脸图像.在进行数据增强后的ＣａｓｉａＦａｃｅＶ５数据集上的实验表明ꎬ模型在人脸

分类任务中准确率可达９５％以上ꎬ压缩效果达到了传统图像压缩方法１/１００００的持久化时间与１/２００的文件大

小ꎬ与其他先进人脸图像生成方法相比ꎬ此模型可以可控地生成高保真度的指定人的人脸图像ꎬ并以１/２０的参

数量达到与大型预训练模型相近的人脸生成效果.

[关键词]区块链ꎬ跨模态人脸生成ꎬ可控图像生成ꎬ扩散模型ꎬ人脸识别

－－－

[中图分类号]ＴＰ３９１[文献标志码]Ａ[文章编号]１００１４６１６(２０２５)０２０１０２１０

Ｃｒｏｓｓ￣ＭｏｄａｌＦａｃｅＧｅｎｅｒａｔｉｏｎＭｏｄｅｌｆｏｒＧｏｖｅｒｎｍｅｎｔＢｌｏｃｋｃｈａｉｎ

１１１１１２１

ＣｕｉＳｉｙｉｎｇꎬＴａｎＺｈｉｊｉｅꎬＹｕａｎＸｉａｎｇꎬＬｉＷｅｉｐｉｎｇꎬＭｏＴｏｎｇꎬＱｉａｏＸｉｕｑｕａｎꎬＷｕＺｈｏｎｇｈａｉ

(１.ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅａｎｄＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓꎬＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙꎬＢｅｉｊｉｎｇ１０２６００ꎬＣｈｉｎａ)

(２.ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＮｅｔｗｏｒｋｉｎｇａｎｄＳｗｉｔｃｈｉｎｇＴｅｃｈｎｏｌｏｇｙꎬＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓꎬＢｅｉｊｉｎｇ１００８７６ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:Ｂｌｏｃｋｃｈａｉｎｔｅｃｈｎｏｌｏｇｙｉｓｃｕｒｒｅｎｔｌｙｕｓｅｄｉｎｇｏｖｅｒｎｍｅｎｔｄａｔａｓｈａｒｉｎｇꎬｂｕｔｆａｃｅｓｃｈａｌｌｅｎｇｅｓｓｕｃｈａｓｌｉｍｉｔｅｄ

ｂａｎｄｗｉｄｔｈａｎｄｈｉｇｈｓｔｏｒａｇｅｃｏｓｔｓ.Ｔｏａｄｄｒｅｓ