CN119693214B 基于稳定扩散模型的生成式不可见水印方法 （南京信息工程大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119693214B(45)授权公告日2025.07.04

(21)申请号202510216673.9

(22)申请日2025.02.26

(65)同一申请的已公布的文献号申请公布号CN119693214A

(43)申请公布日2025.03.25

(73)专利权人南京信息工程大学

地址210000江苏省南京市浦口区宁六路

219号

(72)发明人谭贵峰王金伟罗向阳

(74)专利代理机构南京华恒专利代理事务所(普通合伙)32335

专利代理师唐红

(51)Int.CI.

GO6T1/00(2006.01)

GO6N3/0455(2023.01)

GO6T5/10(2006.01)

GO6T5/60(2024.01)

(56)对比文件

PierreFernandez等.TheStable

Signature:RootingWatermarksinLatent

DiffusionModels.arXiv:2303.15435.2023,第1-21页.

YuxinWen等.Tree-RingWatermarks:

FingerprintsforDiffusionImagesthatareInvisibleandRobust.arXiv:

2305.20030.2023,第1-17页.

HuayangHuang等.ROBIN:Robustand

InvisibleWatermarksforDiffusionModelswithAdversarialOptimization.arXiv:

2411.03862.2024,第1-27页.

审查员于景

权利要求书2页说明书9页附图2页

(54)发明名称

基于稳定扩散模型的生成式不可见水印方

法

(57)摘要

CN119693214B本发明公开一种基于稳定扩散模型的生成式不可见水印方法，先将文本提示/图像提示处理得到潜变量，利用潜变量来指导生成图像，先通过变分自编码器将图像转换为低维潜在表示，依据低维潜在表示生成潜在噪声，结合潜在噪声和低维潜在表示进行多次迭代生成含噪声图像；利用水印解码器来微调解码器，从而在生成的图像中嵌入微调后的权重水印；同时，在稳定扩散模型生成图像时，使用变分自编码器将图像压缩为潜在噪声，再将所得潜在噪声进行小波变换得到噪声水印，并将噪声水印信息映射为环状图案水印并嵌入到噪声低频子带，利用含有水印噪声进行图像生成，到含水印图像。本发明在生成图

CN119693214B

CN119693214B权利要求书1/2页

2

1.一种基于稳定扩散模型的生成式不可见水印方法，其特征在于，基于稳定扩散模型StableDiffusion,在将文本生成图像的过程中嵌入不可见水印，包括以下步骤：

首先、输入文本提示/图像提示，依次经分词器和文本编码器处理后，得到嵌入向量表

示，即是潜变量

前向扩展过程中，利用所得潜变量l来指导生成图像，先通过变分自编码器VAE中的编码器E将图像转换为低维潜在表示，变分自编码器VAE中的解码器D将低维潜在表示转换为图像；依据低维潜在表示生成潜在噪声，结合潜在噪声和低维潜在表示进行多次迭代生成含噪声图像；

该过程中，利用预训练的水印解码器来微调变分自编码器VAE中的解码器D,从而在生成的图像中嵌入微调后的权重水印；同时，在稳定扩散模型StableDiffusion生成图像时，使用变分自编码器VAE将图像压缩为潜在噪声，再将所得潜在噪声进行小波变换得到噪声水印，并将噪声水印信息映射为环状图案水印并嵌入到噪声低频子带；

反向扩散过程中，将低维潜在表示输入UNet,UNet收到后进行逐步去除噪声恢复图像；最后，利用含有水印噪声进行图像生成，得到含水印图像Xo;

上述过程中，在生成环状图案水印并嵌入到噪声低频子带时，直接修改潜在噪声的分布特征，向潜在噪声分布上映射水印信息，使得只需将图像重新压缩到噪声空间就可提取水印信息，得到水印向量；具体方法为：

步骤1)、根据用户给出的水印形状参