变分自编码器低质量数据生成原因剖析.pdfVIP

第25卷第4期衡水学院学报Vol.25,No.4

2023年8月JournalofHengshuiUniversityAug.2023

变分自编码器低质量数据生成原因剖析

12333

张建光，郭双乐，曹吉朋，左瑞龙，齐长志

（1.衡水学院数学与计算机学院，河北衡水053000；

2.滨州学院信息工程学院，山东滨州256600；

3.河北省基础教育信息化技术创新中心，河北鑫考科技股份有限公司，河北衡水053000）

摘要：从数学角度对变分自编码器目标函数下界和网络结构进行了研究，指出变分自编码器所生成的

1qz|xpz|x

样本质量低的两个原因：）由于识别模型表达能力的限制使得后验分布偏离目标分布，

2px|z

导致最大化证据下限时没有能够保证最大化对数似然；）变分自编码器中条件分布对应的网络

xz

结构把生成数据和隐变量之间的概率依赖关系近似为函数依赖关系，即把一个显示概率生成模型用

一个隐式概率生成模型来近似实现。该结论为进一步研究和改进变分自编码器以及设计其他生成模型提

供了理论支撑。

关键词：变分自编码器，生成模型，重参数化

DOI：10.3969/j.issn.1673-2065.2023.04.004

作者简介：张建光，男，河北衡水人，副教授，博士；

通信作者：郭双乐，男，河北衡水人，讲师，博士。

基金项目：河北省自然科学基金（F2020111001）；国家自然科学基金；教育部人文社科青年基金

（18YJCZH129）；河北省自然科学基金（F2016111005）；衡水学院高层次人才科研启动基金项目

（2021GC17）；衡水学院校内非实体性研究机构项目（2021yj18）

中图分类号：TP389.1文献标识码：A文章编号：1673-2065(2023)04-0020-05

收稿日期：2022-11-26

0引言

监督学习方法按照决策边界的确定过程不同可以分为生成方法和判别方法，这两种方法所确定的模

[1]

型分别称为生成模型和判别模型。生成方法通过学习数据的联合分布实现了对数据整体特征的把握，而

判别方法仅仅对数据的决策边界进行了学习。由于生成方法实现了对数据的联合分布的学习，所以基于

[2]

生成模型可以产生和已知的训练数据具有近似分布的样本。近年来生成模型广泛应用于数据增强、图像

[3][4][5][6]

编辑、数据修复、图像超分辨率和信息安全等诸多领域。

按照是否显示的对生成数据的概率密度函数进行定义，可以把生成模型分为显示生成模型和隐式生

[7]

成模型两大类。顾名思义，显示生成模型对概率密度函数进行了显示定义，而隐式生成模型则直接对生

成数据的随机过程进行了定义。当前主流的显示生成模