多任务、多场景、多视角,具身视频生成走向规模化。实验室里,机械臂摇匀试剂;工厂里,机械狗巡检、转向、爬上台阶;市场里,人形机器人搬货上架;手术台上,灵巧手穿线打结......画面越丰富,越照出一个现实:机器人要走进千行百业,缺的不是模型,而是覆盖不同物体、不同空间、不同视角的交互数据。靠实机一遍遍采集,成本高、周期长,换个场景就得重来。更关键的是,数据生产必须可控:物体放在哪里、机械臂怎么动、相机沿哪条路径看,都该像参数一样随时可调。谁能把这件事做成,谁就握住了具身智能规模化的入口。
同济大学空间智能团队联合考拉悠然推出的悠然无界系列代码驱动具身世界模型框架BWM-Forge,给出的正是这套可规模化的解法:它把机器人本体、场景物体、动作过程与相机视角写进一段可执行的三维场景程序。先用代码搭出世界骨架,机器人怎么动、物体在哪里、镜头从哪儿看,一目了然;再交给视频生成模型补上材质、光影与环境细节。换本体、换场景、换机位,都不必从零重来。对数据生产而言,成本结构从“每次重拍”变成“一次搭建、多次复用”。
BWM-Forge——以可执行场景程序连接机器人任务与高保真视频
把世界写进代码,每次修改都有入口
记者获悉,具身世界模型框架BWM-Forge 把物体、运动、相机都写成可改参数,为具身生成搭起可操作的世界底座。
一句任务描述、一份机器人资产,就能启动生产。系统提供空间语义驱动、运动先验驱动、真实示范驱动三种范式,由Agent 搭建场景、导入本体、编排动作与镜头,先产出检查结构与运动的代理视频;再调用视频生成模型,结合代理视频、参考图像与提示词,补齐材质、光影和环境细节。代码里的场景与动作,就是高保真画面的共同参照。
修改从此有了明确入口:调物体,改场景参数;换动作,编辑运动过程;切视角,重排相机。已有程序还能直接复用到新机位、新外观,一次构建撑起一批生成需求——对按条计算成本的数据生产来说,这是最实在的降本。
跑分给出了最直观的答案。在15 项任务评估中,BWM-Forge 的画面表现与任务指令对齐能力保持稳定:VBench-Long 主体一致性 0.9721,高于 LingBot-World Base Cam 的 0.9480;背景一致性 0.9722,对比方法为 0.9578;RoboJudge-9B 指令对齐均分 3.33,对比方法 2.73。主体不漂移、场景不跳变、目标动作能完整呈现——对下游训练来说,这三项恰恰决定了这批数据能不能直接进训练集。
多任务拓本体覆盖,多场景丰视觉表达,多视角补观察维度。三条路径指向同一条主线:把场景、运动与镜头留成可编辑、可复用的程序,再交给生成模型补足视觉细节。每一次构建都不再是一次性投入,而是可累积的资产。
多任务、多场景,一次构建能复用多少次?
本体可以换、场景可以换、机位也可以换。BWM-Forge 把这些变量收进可编辑的场景程序,让“谁来做、在哪做、从哪儿看”都有明确开关。对需要批量产出训练数据的团队来说,同一份投入可以摊到更多任务上。
从“多任务”领域来看,从机械臂到人形机器人,一条产线可覆盖更多本体,从桌面精细操作到房间级全身移动与连续交互,多样本体与任务被收进同一条可编程产线,具身数据的覆盖面由此打开。记者获悉,支撑这些演示的,是同一套代码驱动工作流。接入新的机器人资产、定义任务目标,再结合可用的运动信息继续构建与调整,就能延伸到新的本体与任务。
从“多场景”领域来看,一段动作,换个环境就是一条新数据。同一个箱子,人形机器人搬了一次,环境却换了三回:市场里是摊位与遮阳篷,工业仓库里是挑高大堂与远处堆货,垂直农场里则是成排植物与配套设备。动作没变,视觉语境全变了。三个版本共用代理视频与参考帧,机器人、箱子、货架、动作顺序与相机保持一致,只通过提示词改变环境材质、光照和背景细节,一次动作构建就能产出多条差异化数据,边际成本被明显压低。
一段代理视频,三种场景外观——市场、工业仓库与垂直农场
从“多视角”维度看,换个机位,就多一份观察数据。四足机器人在工厂里行走、转向、爬楼梯。原始机位交代它与设备、楼梯的位置;跟随镜头贴着身体记录转向与行进;近似第一人称视角,把前方通道与台阶推到眼前。同一段动作,三种信息量。任务只跑一条时间线,观察却能开出多个入口。
原始、跟随与近似第一人称视角,共享场景和运动时间线
四个Agent形成产线,经验也能沉淀复用
可编程世界的背后,是一条覆盖构建、审查、渲染与反馈的Agent 流水线。BWM-Forge用Harness系统调度四类Agent:预处理Agent核对机器人资产与运动数据、提取视觉信息;构建Agent编写并执行场景与动画脚本,编排运动与相机轨迹;审查Agent对照画面、轨迹与执行记录排查问题并局部返工;渲染Agent调用视频模型产出高保真结果并组织评估迭代。
自动评估盯住清晰度、颜色稳定性、运动平滑度与动作保真度,视觉语言模型再审真实感、物理与时间连贯性、任务语义一致性,二者与用户反馈共同指向下一轮修改,质量靠闭环而非碰运气。构建生成中,用户可随时查看阶段结果,用自然语言指出物体布局、机器人动作、相机视角或画面细节问题;系统据此调整场景程序、运动参数或生成提示,并交回确认。人始终在回路里,迭代不必反复重跑,改动落在代码中,下一轮仍可复用。
一次任务收尾,就是下一次构建的起点。系统将建模与渲染记录提炼为可检索规则,沉淀进经验库。在工作台、实验室、厨房等跨场景搬运案例中,避障间隙、动作阶段、容器放置、相机取景等经验,可结合新的物体尺寸与场景条件再次调用。场景程序留住可编辑任务,经验库攒下可调用方法,越用越省。
面向具身智能,BWM-Forge为机器人视觉数据规模化扩充提供新路径。下一步,同济大学与考拉悠然将继续扩大任务覆盖、完善自动审查与生成流程,并进一步验证生成视频对下游机器人学习的实际增益。