从NN神经网络理解隐空间.pdfVIP

L ectures 讲座 电子产品世界 从NN神经网络理解隐空间 Understanding deep neural networks latent space 高焕堂  （铭传大学、长庚大学教授） 1 复习：AIGC创作力来源——隐空间 武侠中说：无中生有，从无招中生出千变万化， 在 2023 年 1 月刊连载中，我们曾经说明在 AIGC 无招胜有招。一样地，AI 也能从其无招秘境中的精 领域里，最近几个很红的图像模型，例如 DALLE 、 华神韵，生出千变万化的新招式，也就是新作品、 Imagen 和 Midjourney 等， 它 们 都 是 基 于 一 种 机 制： 新内容 (Content)。这种新创作新内容，就谓之 AIGC 扩散 (Diffusion)。经由模型训练，操作隐空间 (Latent (AI Generated Content)。 space) 的向量，加上随机输入中合成新的数据，呈现出 除了上述的 AI 创作力来自隐空间之外，隐空间也 令人惊奇的创作，推动了 AI 组合的创新或创作。这意 将会是管理大量繁杂模型的利器。例如，可以预测到了 味着，关于AI 的生成或创作，大多会涉及隐空间的操作。 2030 年之际，AI 模型将更为百花齐放，繁杂多样，就 现在先从一个基本问题出发，这个问题是：为什么 会导致难以管理，使得管理成本急速升高。 AI 会创作呢？由于当今的 AI 是基于 ML( 机器学习 )， 就如同 20 世纪八九十年代，经济生产全球化，码 它会向人类学习。继续探索下去，它向人类学习什么呢？ 头上货物形形色色，繁杂多样，非常难管理，导致管理 学习人类的做事和创物的经验直觉。经验直觉的逻辑是 成本急速升高。于是集装箱 (Container) 这个角色就应运 不清晰的，无法经由编程来写成代码。那我们该如何把 而生，大货轮也出来了，陆地上拖车业也大发利市了。 人类的直觉智慧弄进机器 (AI) 呢？ 同样地，到了 2030 年，AI 模型的集装箱角色就很可能 答案是：从人类的作品 ( 如绘画、音乐、文学作品、 会出来。 食谱、游戏、对话、网络文章 ) 中学习作品的形式、风 我认为，AI 的隐空间即将成为 AI 的集装箱。而且 格、情绪等。这些作品被放到网络上，皆成为大数据 (Big 在未来数年内，凡是力求掌握潜藏空间，致力于开发控 Data)。于是，我们就拿这些大数据来给 AI 学习，谓之 制软件系统，来有效管理 AI 货柜 ( 即潜藏空间 ) 者， 训练 (Training)。 将成为 AIGC 时代的大赢家。 AI 从人类作品中学习到人类专家 ( 创作者 ) 的招式 (Patterns) 和风格 (Style)。如同金庸武侠小说中的杨过、 2 从NN模型深刻理解隐空间 小龙女向大侠们学习了许多武功招式。经年累月，杨过 首先从最简易的单层NN(Neural network) 模型出发。 和小龙女学而时习之，逐渐地在内心深处沉淀出招式背 这种简单模型只含有一层权重 (Weight)，兹以图 1 这样 后的精华神韵，谓之无招秘境。 的 NN 图形为例。 一样地，AI 经过几十天学习大量作品的创作招式 这个模型从 X 空间对映到 Z 空间。其含有两层 和风格，逐渐地在 AI 模型内部的秘境中沉淀出招式背 (Layer) 神经元：左边的 X 神经元是输入 (Input) 层，而 后的精华神韵，这个 AI 中的无招秘境，谓之隐藏空间 右边的 Z 神经元，是输出 (Out