智元推出首个4D世界模型，OpenAI重点布局机器人.docxVIP

目录

TOC\o1-1\h\z\u一、行业变化 1

二、持续关注标的 3

三、行情回顾 3

四、产业要闻 7

五、重要公告 8

六、风险分析 9

请务必阅读正文之后的免责条款和声明。

一、行业变化

智元机器人推出全球首个4D世界模型EnerVerse

如何让机器人在任务指引和实时观测的基础上规划未来动作，一直是具身智能领域的核心科学问题。然而，现有的机器人动作规划方法常常面临着一些问题。比如，其常常由于缺乏对于动态操作空间的理解以及在处理一些长序任务时的记忆处理能力有所欠缺。同时，在机器人动作预测中构建出来的基于2D视频生成的worldmodel难以准确表达复杂的3D关系。

针对上述难题，智元机器人团队提出了EnerVerse架构，通过自回归扩散模型（autoregressivediffusion），在生成未来具身空间的同时引导机器人完成复杂任务，在这个过程中同时具有对动态操作空间的理解能力。同时创新性地引入了自由锚定视角（FreeAnchorView,FAV）和稀疏记忆机制（SparseMemory）。这个架构可以为机器人未来动作的预测提供一个4D的全视角worldmodel同时优化其记忆处理能力。

图表1：EnerVerse视频生成过程

资料来源：机器之心，

在图表1中，我们可以看出EnerVerse的视频生成的大致过程，首先在根据观察输入初始构建出多视角的空间，之后对于这个多视角的空间进行渲染，使得其仿真度更高，接近现实世界，再将这个多角度空间的图像输入右方的多视角扩散生成器，同时给出任务指令（倒茶），便可以生成下一时刻的各个角度的预测图像，借此可以预测机器人的动作进而辅助其进行动作规划策略的构建。

EnerVerse的亮点在于其可以通过逐块生成的自回归扩散框架，结合创新的稀疏记忆机制与自由锚定视角

（FAV）方法，解决上文中提到的一系列问题。

行业动态报告

对于逐块扩散生成（NextChunkDiffusion），EnerVerse采用逐块生成的自回归扩散模型，通过逐步生成未来具身空间来引导机器人动作规划。同时可以使得机器人具有一定对动态操作空间的理解能力。

对于这个自回归扩散模型，如图表2所示，左侧为多视角的扩散生成板块，我们首先输入在i时刻来自相机的图像和对应的光线方向图，分离噪音和观察图像（Obs,ImageLatent），然后通过2D和3D卷积提取图像特征，之后模型使用空间注意力（SpatialAttent）和时间注意力（TemporalAttent）来处理图像特征，以更好地理解图像内容和时间序列信息。经过扩散生成i+1时刻的图像，经过渲染生成对i+1时刻的预测图片（Render,

ImageLatent），再将其输入生成器，不断迭代生成预测视频。

右侧为分块的自回归的训练过程。首先在上半的训练阶段中，从观察视频中随机提取关键帧输入扩散生成器，同时输入目标图像（一般是关键帧的后续帧），通过将生成的图像和目标图像进行对比预测噪声（Prod.Noise）,并通过噪声度量损失，通过损失最小化这一目标实现训练。

下半部分为生成器的运用，通过向其中输入i时刻的观察图像（Obs.ImageLatent）和目标图像（i+1时刻）以及噪声生成预测图像（i+2时刻），在下一个迭代中，将原来的目标图像作为观察图像，预测图像作为目标图像进而预测i+3时刻的图像，迭代即可生成预测视频，具有对于动态操作空间的理解能力。

图表2：逐块扩散生成流程图

资料来源：机器之心，

对于灵活4D生成(FAV)，EnerVers针对具身操作中复杂遮挡环境和多视角需求，提出了自由锚定视角（FAV）方法，以灵活表达4D空间。其核心优势包括：

自由设定视角：FAV支持动态调整锚定视角，克服固定多视角（fixedmulti-anchorview）在狭窄场景中

行业动态报告

的局限性。例如，在厨房等场景中，FAV可轻松适应动态遮挡关系。

跨视角空间一致性：基于光线投射原理（raycasting），EnerVerse通过视线方向图（raydirectionmap）

作为视角控制条件，并将2D空间注意力扩展为跨视角的3D空间注意力（cross-viewspatialattention），确保生成视频的几何一致性。

Sim2Real适配：通过在仿真数据上训练的4D生成模型（EnerVerse-D）与4D高斯泼溅(4DGaussianSplatting)交替迭代，EnerVerse构建了一个数据飞轮，为真实场景下的F