深度书写利用深度生成模型编辑数字墨水.PDF

深度书写：利用深度生成模型编辑数字 墨水 DeepWriting: Making Digital Ink Editable via Deep Generative Modeling 要点 论文信息 作者：Aksan, Emre, Fabrizio Pece, and Otmar Hilliges. 日期：25 Jan 2018 来源：CHI 2018 关键词 手写; 数字墨水; 基于触控笔的界面; 深度学习; 循环神经网络 背景知识 RNN （recurrent neural network） VRNN （variational recurrent neural network） GMM （Gaussian Mixture Model） 主要贡献 本文提出了一种新的生成神经网络结构，能够将任意文本转换为手写风格文本， 并切换不同风格，同时可以对内容进行编辑和查找。模型采用了条件变分循环神 经网络作为结构，将内容和样式分离为两个需要学习的潜变量，从而控制手写字 体的生成。 启发 本文实现的模型主要用于英文手写字体的生成，而书法作为中国传统艺术，具有 很高的艺术欣赏价值，可以考虑将模型应用到书法作品的生成上，进行一些开创 性工作。 摘要 数字墨水有望将手写的便捷性和美感与处理、查找和编辑文本的能力相结合。字 符识别将手写文本转换为数字表示，然而代价是失去个性化外观，原因是难以将 内容和风格进行分离。在本文中，我们提出了一种新型的生成神经网络结构，能 够将风格从内容中分离出来，从而使得数字墨水可以被编辑。我们的模型能够合 成任意文本，同时用户能够控制视觉风格，举例来说，就是能够不改变文本内容 而实现风格转换，在单词级别编辑数字墨水，以及其他的一些应用场景，比如手 写文本的拼写检查和改正。我们另外贡献了一个新的字符级别标注的手写文本， 并汇报了初始用户的评估结果。 介绍 几个世纪以来，手写文本一直是我们沟通的主要手段，也是我们教育和文化的基 石，通常被认为是一种艺术形式。它已经被证明是有益于笔记、阅读，并且对长 期和短期记忆有着积极影响。但是，尽管在字符识别方面取得了进展，但是完全 水花文本仍比手写数字更容易处理，搜索和操作，从而导致了打字文本的统治地 位。 在本文中，我们探索了将数字墨水的欧阳星和效率相结合的新方法，通过分离风 格和内容使其可编辑。数字墨水和基于触笔的界面一直是人机交互研究的兴趣所 在。但是，为了处理数字墨水，人们通常采用光学字符识别技术（OCR），因此 总是会失去手写文本的个性化风格。相比之下，我们的方法能够保持作者的原始 风格，从而实现手写文本和数字文本的无缝过渡。我们的方法能够将一系列数字 墨水或 ASCII 字符作为输入来合成手写文本。这是一个具有挑战性的问题：虽然 每个用户都有独特的手写风格，但是确定风格的参数并没有很好定义。此外，手 写风格并不是固定的，而是根据上下文，书写速度和其他因素进行改变。因此目 前为止，在控制内容的同时在算法上忠实地重建风格是很困难的。手写合成的综 合方法必须能够保持全局风格，同时保留局部可变性和上下文。（例如，许多用 户动态地混合草书和断开连接的样式）。 为了迎接这一挑战，我们贡献了一种新的生成深度神经架构来进行数字墨水的条 件合成。该模型能够捕获和再现手写的局部可变性，并能逼真地模仿不同用户的 风格。重要的是，该模型提供了对合成序列内容的完全控制，使得能够在单词级 别处理和编辑数字墨水。主要技术贡献源于将影响视觉和内容的潜变量分离的能 力，这是通过整合了自回归模型和潜空间表示的结构实现的。 更确切地说，我们提出了一种由循环变分自编码器组成的结构，由两个潜分布组 成，从而进行条件合成（即对样式和内容提供控制）和新颖的训练和采样算法。 该系统已经经过了从 294 位作者收集的分段手写样本的㜕，并且考虑了手写的 时间和风格。此外，它能够将打字文本合成新序列，将样式从一个用户转移到另 一个用户，在单词级别编辑手写墨水，从而实现了一些吸引人的应用场景，包括 数字墨水的拼写检查和自动校正。 我们通过全面的技术评估描述了架构的性能，并在我们实现的交互场景中对其效 率和功能进行了初步的实验评估。此外，我们提供了一个新的数据集，它增前额 IAM 在线手写数据库（IAMOnDB），并包括了从 294 位作者手机的带有字符级 标注的手写文本。最后，我们计划发布我们模型的开源实现。 相关工作 我们的工作涉及了各种主题，包括人机交互，手写分析和机器学习。 理解手写 对手写文本的识别的准确性已经有了巨大提升，现在可以在主流 UI （如Wind