人工智能应用基础 课件 项目6 生成式人工智能.pptx

;技术篇

项目6?生成式人工智能;01;;;;人脸识别、车牌识别属于利用深度学习能完成的最基本的事情，这些任务要求人工智能识别出某些事物，包括图像、声音、文本等，然后给他们进行分类，判断这些事情分别是什么。但还有一类任务，他们不再是做简单的分类，而可以自己生成一些你没见过的事物，小明看到的在线试衣间就属于此类。

了解在线试衣间的相关技术，需要学习以下内容：;;生成式模型

生成式人工智能利用某个数据集中的样本来训练机器学习模型。然后，由用户输入某些提示，让模型为我们成生与训练数据类似的输出。;自动编码器

自动编码器是一种生成模型，由编码器和解码器组成，它们通常情况下是结构相同的两个神经网络，可以由全连接层组成，也可以是由卷积层组成的。编码器的任务将输入数据转换为一个特征向量，解码器将该特征向量进行解码重建，转换为输入数据的样子，从而使其具备了生成数据的能力。;自动编码器进行图像降噪

对于一个训练好的自动编码器模型，只要随机采样一些像素值输入到模型进行编码、解码之后，可以得到与训练集图像类似的新图像，这可以帮我们创建一些新的数字图片。;自动编码器生成新图像

也可以随机的改变特征向量中部分值，解码器部分就可以用来从修改过的特征向量创建新的图像，得到与训练集图像类似但不同于训练集中任何一张图像的新图像。;生成对抗模型

专业工厂与普通工厂之间生产零件的对抗;生成对抗模型

用生成对抗模型训练图像生成器;生成对抗模型

核心部件：生成器与对抗器

生成器和判别器采取交替训练

先训练生成器，然后训练判别器，不断往复，使生成器和判别器的对抗关系形成了一种动态平衡。生成器试图最大化判别器犯错的概率

判别器则努力减小这种误判。这种对抗训练机制使得生成器能够生成越来越高质量的数据，同时也提高了判别器的鉴别能力。;生成对抗模型

生成图片样例;生成对抗模型

生成出手写数字图片;生成对抗模型

面对多种手写体时的缺陷，生成器只会生成其一种或几种，就足以通过鉴别器的鉴别;生成对抗模型

解决方法：多个生成器组成的生成对抗模型;风格迁移

用自动编码器实现;风格迁移

用生成对抗模型实现。

根据输入的随机噪声来生成数据的，输入不同的噪声就会生成不一样的图像，新图像跟训练数据集相似。;带条件的生成对抗模型

将某种条件，如图像、文本或属性标签值添加到随机噪声图像中一起输入到生成器里，通常条件与噪声图像直接拼接在一起即可。生成器的输出就不仅依赖于随机噪声，还要加上条件，而这个条件是我们可以控制的。;带条件的生成对抗模型

风格迁移：将一些风格图像作为条件与随机噪声拼接在一起输入到生成器，用来控制生成器输出的图像风格。;带条件的生成对抗模型

训练一个手绘风格迁移的模型，在训练生成器生成猫的图片时，将手绘的草图作为条件与噪声一起输入，来控制生成图像的轮廓;文本描述生成图像

基于文本描述来生成图像内容;文本描述生成图像

将文字作与噪声图像一起作为条件输入生成对抗模型进行训练。

训练生成器的图像数据集需要很大，尽可能多的包含文字可能描述的内容。

如果文字中提到眼镜，但图像数据集中没有眼镜的图像，那说明生成器从来没有接受过眼镜图像的训练，自然无法生成。;图像描述

将图像概括成文本，通过一段文字来描述，从而实现辅助理解一些常人难以理解的图像，又称图像字幕生成。;图像描述

常用的流程包括：图像特征提取和将图像翻译为文字。

1、使用卷积神经网络提取图像的特征向，特征包括图像中的对象、场景和它们之间的关系。

2、将提取的图像特征看作一种文本，输入到某种翻译模型中，根据图像特征中的信息生成符合语法和语义的文本描述，整个过程类似于将图像翻译为文字。;图像描述

图像描述任务所需要的数据集是很大的，并且每张图像都有对应人工标记，这些标记内容就是图像的描述文本。标记的内容决定了在遇到类似图片时，会优先生成与标记风格类似的文本。;图像描述

基于单词的图像描述方法：先从图像中提取单词，然后由单词组成多个候选句子，最后对这些候选句子进行筛选或合并，形成最终的描述文本。

需要一个目标检测模型来提取一副图像中所包含的可识别物体，该物体的类别即可对应要生成的单词，而单词之间的关系可通过物体边界框的位置来确定;;1、打开EasyDL平台

进入页面：/product/face/merge，在该页面中点击“本地上传”按钮来指定目标图和模版图，目标图将与模板图进行融合，输出一张融合后的人脸。;;;;自动编码器网络和生成对抗网络，这两个模型都属于自监督学习，在训练时不需要给数据做上标记，而是以数据本身作为学习的目标，这可以节省大量的工作。

利用生成式模型，我们可以创造一些原来没有的数据，生成一些意想不到的图像或是文本，比如图像去噪、风格迁移、利用文本生成对应的图像和用文本描述图像内容等。

但是为了完成这些任务，模型需要有大量的