计算机行业AI与专题系列点评：字节跳动发布OmniHuman，人体动画最新成就.docxVIP

目 录

TOC\o1-2\h\z\u一、OmniHuman运用全新框架，突破技术瓶颈 4

（一）运用混合多模态训练，实现更高泛化能力 4

（二）采用DiT架构，提高视听契合度 4

二、OmniHuman整体效果取得显著优势 5

图表目录

图表1 OmniHuman基于输入音频和图像生成的视频 4

图表2 OmniHuman技术框架图 4

图表3 OmniHuman肖像和身体动画任务表现 5

图表4 OminiHuman不同音频比例训练结果 5

图表5 OmniHuman关于不同音频比例的消融研究 6

图表6 OmniHuman关于不同姿态比例的消融研究 6

图表7 OmniHuman根据输入的音频和图像生成的视频 7

一、OmniHuman运用全新框架，突破技术瓶颈

（一）运用混合多模态训练，实现更高泛化能力

OmniHuman采用Omni-ConditionsTraining的混合多模态训练策略，克服了以往方法面临的高质量数据稀缺问题。通过弱条件助力强条件、提高弱条件训练比例这两大原则，OmniHuman从大规模数据训练中受益，学习自然的运动模式，从而支持多种输入模式，并显著提升生成质量。

图表1 OmniHuman基于输入音频和图像生成的视频

mniHuman官网

（二）采用DiT架构，提高视听契合度

OmniHuman采用基于DiT架构的视频生成框架，使模型兼容多种模态的条件注入方式。通过将交叉注意力与视频特征完美融合，实现语言、音频与动作生成的高度契合度，来达到适应多种模态的效果。

图表2 OmniHuman技术框架图

mniHuman官网

二、OmniHuman整体效果取得显著优势

在与目前行业领先方案的效果对比中，OmniHuman表现出色，在多方面超越现有的主流方法。在肖像和身体动画任务中，OmniHuman使用单一模型表现优于领先的专业模型。通过对数据集中的指标进行平均，OmniHuman在所有评估指标中取得了最佳结果，反映

了其整体有效性。此外，OmniHuman在特定数据集中的几乎所有指标上表现出色。图表3 OmniHuman肖像和身体动画任务表现

mniHuman官网

消融研究验证训练策略有效性。在音频比例设置上，通过比较OmniHuman在不同音频比例训练中的表现，得出音频比例设置为50%效果最佳，将其作为最终训练配置。并通过不同音频比例的消融研究，验证了训练策略的有效性，表明混合数据训练可以显著提高

模型性能。

图表4 OminiHuman不同音频比例训练结果

mniHuman官网

图表5 OmniHuman关于不同音频比例的消融研究

mniHuman官网

将相同方法运用到姿态比例设置上，同样得出姿态比例设置为50%效果最佳，并将其作为最终训练配置。

图表6 OmniHuman关于不同姿态比例的消融研究

mniHuman官网

可视化效果显著提升。通过展示更多可视化结果，OmniHuman在人物动画方面展现强大能力，能保持输入的运动风格。可兼容风格化人形和2D卡通角色，甚至可以以拟人化的方式为非人类图像赋予动画效果。

图表7OmniHuman根据输入的音频和图像生成的视频

mniHuman官网