人工智能 艺术创作 9.第九章--AI艺术创作.ppt

图像风格迁移 目前的深度学习技术，如果给定两张图像，完全有能力让计算机识别出图像具体内容。而图像的风格是一种很抽象的东西，人眼能够很有效地的辨别出不同画家不同流派绘画的风格，而在计算机的眼中，本质上就是一些像素，多层网络的实质其实就是找出更复杂、更内在的特性(features)，所以图像的风格理论上可以通过多层网络来提取图像里面可能含有的一些有意思的特征。 图像风格迁移 将一幅图像的风格转移到另外一幅图像上被认为是一个图像纹理转移问题，传统上一般采用的是一些非参方法，通过一些专有的固定的方法（提取图像的亮度、低频颜色信息、高频纹理信息）来渲染。但是这些方法的问题在于只能提取底层特征而非高层抽象特征，而且往往一个程序只能做某一种风格或者某一个场景。随着CNN的日渐成熟，图像风格迁移技术也迎来了一次变革。需要注意的是，最近的很多应用型的研究成果都是将CNN渗透进各个领域，从而在普遍意义上完成一次技术的升级。 图像风格迁移 可以进行风格转换的基础就是将内容和风格区分开来，接下来我们来看CNN如何做到这一点。 1.内容表示 Content Representation 给定一个图像 p，卷积神经网络每层使用滤波器(卷积核 filter)对图像进行编码。在 CNN 中, 假设 layer l 有 个 filters, 那么将会生成 个 feature maps，每个 feature map 的维度为 , 代表 feature map 的高与宽的乘积。所以每一层 feature maps 的集合可以表示为第 i 个 filter 在 position j 上的激活值。使用现在公布的训练好的某些CNN网络，随机初始化一个输入图片大小的噪声图像x，然后保持CNN参数不变，将内容图片 p 和随机图像 x 输入进网络，然后对 x 求导，这样 x 就会在内容上越来越趋近于p。 图像风格迁移 2. 风格表示 Style Representation 对于风格提取，我们需要用到 Gram matrix 假设我们要对梵高的星空图做风格提取，在神经网络中某一层中有一个滤波器专门检测尖尖的塔顶这样的东西，另一个滤波器专门检测黑色。又有一个滤波器负责检测圆圆的东西，又有一个滤波器用来检测金黄色。 对梵高的原图做Gram矩阵，谁的相关性会比较大呢？如上图所示，“尖尖的”和“黑色”总是一起出现的，它们的相关性比较高。而“圆圆的”和“金黄色”都是一起出现的，他们的相关性比较高。 因此在风格转移的时候，其实也在内容图（待风格转换的图）里去寻找这种“匹配”，将尖尖的渲染为黑色（如塔尖），将圆圆的渲染为金黄色（如近圆的房顶）。如果我们承认“图像的艺术风格就是其基本形状与色彩的组合方式” ，这样一个假设，那么Gram矩阵能够表征艺术风格就是理所当然的事情了。 图像风格迁移 风格的抽取仍然是以层为单位的，对于风格图像 a，为了建立风格的 representation，我们先利用 Gram matrix 去表示每一层各个 feature maps 之间的关系， 其中的元素是 x 的 feature maps i,j 的内积， 利用 Gram matrix，我们可以建立每一层的关于 style 的 cost function， 结合所有层，可以得到总的 cost :不考虑风格转换，只单独的考虑内容或者风格，可以看到如图所示： 上半部分是风格重建，由图可见，越用高层的特征，风格重建的就越粗粒度化。下半部分是内容重建，由图可见，越是底层的特征，重建的效果就越精细，越不容易变形。 图像风格迁移 3. 风格转换 提取了内容和风格之后，我们就可以开始进行图片的风格迁移了。具体过程如下图所示： * * 第九章：AI艺术创作 1 2 目录 CONTENTS 分形艺术 图像风格迁移 一、分形艺术 分形艺术 历史上艺术领域公认有两次最大的创新，一次是文艺复兴，另一次是本世纪初兴起的现代艺术。这两次大的创新都与几何学的变革存在紧密联系，前者与三维透视几何有关，后者与非欧几何、分形几何有关。《大自然的分形几何》不仅仅为世人带来了一个神奇绝妙的美丽世界，而且分形几何在数学、物理学、生物学等许多科学领域都得到了广泛的应用，对当代艺术也产生了重要影响。 中学里学习过的平面几何、立体几何等统称为欧几里得几何学，基于传统欧几里得几何学的各门自然科学总是把研究对象想象成一个个规则的形体，而我们生活的世界竟如此不规则和支离破碎，与欧几里得几何图形相比，拥有完全不同层次的复杂性。漂浮蓝天的云朵、蜿蜒曲折的海岸线、坑坑洼洼的地面、复杂的生命现象等等，都表现了客观世