生成式人工智能应用基础：ControlNet及其使用PPT教学课件.pptx

人工智能应用基础项目11ControlNet及其使用

目录CATALOG11.111.2ControlNet的基本使用ControlNet简介11.311.4ControlNet—姿态约束ControlNet—线条约束11.5ControlNet其他模型

11.1ControlNet简介3StableDiffusion之所以能够如此迅速地吸引设计师的注意，很大程度上得益于ControlNet插件。这个插件能够对图像进行精准的控图操作，相较于Midjourney，它似乎更能满足设计师在多种商业场景中的需求。在StableDiffusion的设计中，ControlNet插件几乎成为了不可或缺的一部分。

11.1.1ControlNet模型产生的原因11.1ControlNet简介4在AI绘图过程中，我们利用模型、数据集、关键词以及参数等多种因素来绘制一张图片。尽管这些因素能让我们在一定程度上控制图像，达到70%或80%的预期目标，但实现100%的图像控制仍然是不可能的。例如，当我们尝试在保持人物或物体形状不变的前提下更改其风格时，会发现这种控制仍然带有一定的随机性，无法完全如愿。这时，就需要借助ControlNet插件来增强我们的控制能力。ControlNet的绘画思路非常独特。用户首先输入一张参考图，程序会根据这张参考图按照特定的模式生成一张预处理图。然后，程序再根据这张预处理图生成一幅全新的图像。当然，用户也可以直接输入预处理图，让AI根据这张图生成新图。目前，ControlNet已经公开了多种模型，其中公认最好用的是openpose（姿态）模型。

11.1.1ControlNet模型产生的原因11.1ControlNet简介5值得一提的是，ControlNet模型是由斯坦福大学计算机科学在读华裔博士LvminZhang（张吕敏）提出的。他的研究领域涵盖计算艺术与设计、互动内容创作以及计算机图形处理等。在ControlNet模型经过了一段时间的技术预览与早期应用之后，在2024年2月的一篇论文《AddingConditionalControltoText-to-ImageDiffusionModels》中，他首次介绍了ControlNet模型。该论文提出了一种新的方法，通过引入额外的框架来附加多种空间语义条件，从而控制StableDiffusion模型的生成过程。同一天，LvminZhang还在GitHub上公开了ControlNet的相关源代码。可以说，ControlNet是一个功能强大的插件，它搭载在WebUI上，用于拓展StableDiffusion的功能。目前，最新的ControlNet模型分为两个版本：ControlNet1.1和ControlNetXL。其中，ControlNet1.1支持基于SD1.5和2.1版本训练的大模型，而ControlNetXL则支持基于SDXL版本训练的大模型。尽管这两个版本属于不同的模型，但它们的使用方法和原理是相似的。

11.1.2ControlNet的控制类型11.1ControlNet简介6ControlNet实质是通过给定的一幅或多幅图做引导，再根据提示词生成新图。它是一种基于控制点的图像变形算法。该功能允许用户通过预定义的线条、轮廓或图像特征来引导AI生成过程，从而实现对最终图像的更精确控制。ControlNet已经出现了很多优秀的实现形式，LiblibAI使用的ControlType包括：Canny（硬边缘）、Depth（深度图）、OpenPose（姿态）、SoftEdge（软边缘）、Tile/Blur（分块/模糊）和IP-Adapter（风格迁移）等，我们简单介绍几种常用的：1.Canny模型硬边缘模型是一种利用边缘检测的技术，可以从原始图片中提取出线稿，并根据给定的提示词生成与线稿相似的画面。此外，该模型还可以用来给提取出的线稿上色。

11.1.2ControlNet的控制类型11.1ControlNet简介7ControlNet实质是通过给定的一幅或多幅图做引导，再根据提示词生成新图。它是一种基于控制点的图像变形算法。该功能允许用户通过预定义的线条、轮廓或图像特征来引导AI生成过程，从而实现对最终图像的更精确控制。ControlNet已经出现了很多优秀的实现形式，LiblibAI使用的ControlType包括：Canny（硬边缘）、Depth（深度图）、OpenPose（姿态）、SoftEdge（软边缘）、Tile/Blur（分块/模糊）和IP-Adapter（风格迁移）等，我们简单介绍几种常用的：1.Canny模型硬边缘模型是一种利用边缘检测的技术，可以从原始图片中提取出线稿，并根据给定的提示词生成与线