字节跳动发布OmniHuman，人体动画最新成就.pdf

AI+专题系列点评（二十六）

目录

一、OmniHuman运用全新框架，突破技术瓶颈4

（一）运用混合多模态训练，实现更高泛化能力4

（二）采用DiT架构，提高视听契合度4

二、OmniHuman整体效果取得显著优势5

证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210号2

AI+专题系列点评（二十六）

图表目录

图表1OmniHuman基于输入音频和图像生成的视频4

图表2OmniHuman技术框架图4

图表3OmniHuman肖像和身体动画任务表现5

图表4OminiHuman不同音频比例训练结果5

图表5OmniHuman关于不同音频比例的消融研究6

图表6OmniHuman关于不同姿态比例的消融研究6

图表7OmniHuman根据输入的音频和图像生成的视频7

证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210号3

AI+专题系列点评（二十六）

一、OmniHuman运用全新框架，突破技术瓶颈

（一）运用混合多模态训练，实现更高泛化能力

OmniHuman采用Omni-ConditionsTraining的混合多模态训练策略，克服了以往方法面

临的高质量数据稀缺问题。通过弱条件助力强条件、提高弱条件训练比例这两大原则，

OmniHuman从大规模数据训练中受益，学习自然的运动模式，从而支持多种输入模式，

并显著提升生成质量。

图表1OmniHuman基于输入音频和图像生成的视频

mniHuman官网

（二）采用DiT架构，提高视听契合度

OmniHuman采用基于DiT架构的视频生成框架，使模型兼容多种模态的条件注入方式。

通过将交叉注意力与视频特征完美融合，实现语言、音频与动作生成的高度契合度，来

达到适应多种模态的效果。

图表2OmniHuman技术框架图

mniHuman官网

证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）