视频模子原生支持行动一致，只是你不会用！揭开「首帧」的神秘

新智元报道

编辑：LRST

【新智元导读】最新要领FFGo改变了我们对视频天生模子中第一帧的明确。第一帧并非简朴起点，而是模子的「看法影象体」，存储了后续画面的视觉元素。FFGo通过少量样本和特殊训练，激活模子的这种能力，实现高质量的视频定制，无需修改模子结构或大宗数据，为视频天生开发了新偏向。

在Text-to-Video / Image-to-Video 手艺突飞猛进的今天，我们已经习惯了这样一个知识：

视频天生的第一�。‵irst Frame）只是时间轴的起点，是后续动画的起始画面。

但马里兰大学、南加利福尼亚大学、麻省理工学院的最新研究发明：第一帧的真正角色完全不是「起点」，它着实是视频模子的「看法影象体」（conceptual memory buffer）, 所有后续画面引用的视觉实体，都被它默默贮保存这一帧里。

论文链接：https://arxiv.org/abs/2511.15700

项目主页：http://firstframego.github.io

该研究的起点，源于对视频天生模子中一个普遍保存但尚未被系统研究的征象的深入思索。

论文的焦点洞察很是大胆：视频天生模子会自动把首帧中的角色、物体、纹理、结构等视觉实体，所有「记着」，并在后续帧中一直复用。

换句话说，岂论你给几多参考物体，模子都会在第一帧悄悄把它们打包成一个「看法蓝图（blueprint）」。

研究者用Veo3、Sora2、Wan2.2等视频模子测试发明：

若首帧泛起多工具组合, 在很少的情形下，通过使用特殊的转场提醒词，模子在后续帧里能自然融合它们, 甚至能支持跨场景转场、坚持角色属性一致；

可是这个神奇的转场提醒词关于每个模子，每个要天生的视频都是纷歧样的，并且模子在转场融合多物体后常�；岜⑽锾�，场景一致性损失，或者物体丧失的问题。

这说明：

? 第一帧是模子「影象」外来参考的地方

? 但默认情形下，这种能力「不稳固、不可控」

FFGo要领

不改结构、不大规模微调，只用20–50个例子就能让任何预训练的视频模子变身强盛的「参考图驱动视频定制系统」。

研究者基于这个洞见提出了一套极其轻量的做法 :FFGo。

要害优势震撼整个行业：

? 不修改任何模子结构? 不需要百万级训练数据? 只需 20–50 个 carefully curated 的视频例子? 几个小时的 LoRA 训练? 就能实现SOTA级别的视频内容定制

这在现有要领中险些是不可想象的。

研究职员列出了6大应用场景：

机械人操作（Robot Manipulation）

自动驾驶模拟（Driving Simulation）

航拍/水下/无人机模拟（Aerial / Underwater）

多产品展示

影视制作

恣意多角色组合视频天生

用户只需要给模子一张包括多个物体/角色的首帧，再配一个文本prompt，FFGo就能让模子自动「记着」所有元素并天生交互视频, 且画面一致性、物体身份坚持、行动连贯都很是强，甚至支持「多达5个参考实体同时融合」, 而 VACE/SkyReels-A2限制在3个以内，会直接漏物体。

手艺亮点

用VLM自动构建20–50条高质量训练集

用Gemini-2.5 Pro自动识别远景物体, 用SAM2提取RGBA mask, 自动天生视频文本形貌,构建适配视频模子输入的训练样本, 这大大降低了手工事情量。

使用Few-shot LoRA激活模子「影象机制」

研究发明：

模子自然具备融合多参考物体的能力, 但默认难以「触发」

一段特殊prompt（如「ad23r2 the camera view suddenly changes」）能起到「转场信号」的作用

LoRA学到的不是新能力，而是「怎样触发这些能力」，推理时只需丢掉前4�。╓an2.2的压缩�。�

视频真正的混淆内容在第5帧之后最先。前4帧是压缩帧，直接舍弃即可。

FFGo为什么这么强？

研究职员做了大宗比照实验：? FFGo 能坚持物体身份一致性（Identity Preservation）? 能处置惩罚更多参考工具（5个 vs 3个）? 能阻止大模子微调带来的「灾难性遗忘」? 输出画面更自然、更连贯

特殊是在多物体场景和通用的多物体互动场景下 FFGo的天生效果显著优于VACE和SkyReels-A2。

基础模子无意「乐成」，代表了什么？

在研究FFGo的历程中，有一个特殊要害的实验图示值得单独拿出来说：在无意的、极有数的情形下，Wan2.2原始I2V模子也能完成一次「完善」的使命：

多个参考物体没有消逝

场景转场坚持稳固

行动连贯、身份一致

与文本提醒（例如 wingsuit 航行者与 Cybertruck 贴合运动）高度匹配

若是只看这一组效果，你甚至会以为原始模子自己就具备稳固的多工具融合能力。

但事实恰恰相反，乐成的意义并不在于「基础模子体现很好」，而是在于：基础模子原来就「拥有」这种能力，只是大大都时间无法被稳固激活。

研究团队的洞察在这里被证实：

? 视频天生模子确实会把多个参考实体存进第一帧的内部影象结构中? 视频模子自己能执行「多工具+行动一致」的天生? 但这种行为默认险些不可控、不稳固、难复现

这就像模子体内藏着一块「隐藏 GPU」，无意会亮一下，但你完全不可指望它全天候事情。

FFGo不是教会模子新能力，而是让它「稳固施展」

在上述比照中，FFGo的效果与原始模子的「无意乐效果果」险些一致，这说明：FFGo的LoRA不是在重写模子，而是在激活已有的潜在能力。

换句话说：原始模子=有潜力，但无法一连施展，而FFGo=让潜力酿成稳固能力（且不破损预训练知识）

论文中提到，FFGo能保存原模子的天生质量，而不是像古板大规模微调那样牺牲泛化能力, 没有任何微调可以媲美预训练的数据质量和学习效果。

这个实验也证实晰一件极具革命性的事：首帧自己就具备「看法影象体」的角色、视频模子天生可以做多工具融合、要害只是缺乏一个「触发机制」。

FFGo做的就是：用几十条样本、一个全心设计的转场标记（transition phrase）、Few-shot LoRA，把这种能力重新「开机」，并且让它可控、稳固、可靠。

这也是为什么：FFGo能用20–50个样例，把SOTA模子甩在死后。

这个实验所转达的，实质上就是一句话：视频模子已经足够强，只是我们已往一直没有找到准确的用法。

而FFGo正是在教我们一件事：怎样「准确使用」视频天生模子。

总结

用一句话归纳综合这篇论文的研究意义：它不是让模子学会新能力，而是教我们怎样使用模子已经拥有但从未被准确使用的能力。

研究职员提出了一个极具启发性的未来偏向：

更智慧地使用模子，而不是更暴力地训练模子用更少的数据、更轻的微调，获得更强的定制能力把「首帧作为看法影象体」酿成视频天生的新范式

总之，在视频模子中：

第一帧不是起点，而是模子的「影象库」，视频模子自然具备多工具融合能力

FFGo用极低本钱把这种能力「叫醒」，不改结构、不必大数据，仅20–50个例子即可实现SOTA视频定制

实验笼罩机械人、驾驶、影视等多场景，用户研究中以81.2%票数大幅领先

这篇论文不但是一个手艺突破，更像是翻开了视频天生模子的「隐藏手艺树」。

参考资料：

https://arxiv.org/abs/2511.15700

秒追ASI

?点赞、转发、在看一键三连?

点亮星标，锁定新智元极速推送！

UniV

《黄片美女在线观看》，《Q8X2R7L1T4J5M9B6W3》

成人18网站

“双男车车网站免费”

凪光老师封神三部曲资源

……

12月04日

“男同女同精品久久AV”多地汽油价格回归“7元时代”

↓↓↓

海口一护士夜间被患者持刀伤害，是迪丽热巴鼻子倒影

12月04日，山西运城新一轮雨雪“上线” 电力人全力守护电网安全，www免费观看插，鸣潮hr18笔趣阁，夜色网址，美女视频黄频软件

12月04日，重庆市连续五天发布高温红色预警信号电力部门多措并举保供电，人人看人人干，一边操逼一边打电话,操她，亚洲a片免费观看一区，网址你懂的www在线观看

12月04日，《繁花》小食“油墩子”：“变”与“不变”中照见时代，打屁股smsp调教网站，触手C进女生B，小心，五月天福利激情网

12月04日，四大主题90条线路展示国企风采 2024年“首都国企开放日”活动启幕，棚户区老肥熟69XX，婷婷五月丁香社，男女夫妻居家啪啪视频，Aute XXX Hentai漫画

12月04日，云南多条高速公路建设春节前夕迎来新进展，打屁屁大胸美女被操，青青青国产综合视频在线观看，日本. www，天天躁夜夜躁狠狠躁图片swag

12月04日，【风起黄埔】黄埔二十二期彭永：黄埔军校属于中华民族，免费高清理伦片A片免费，亚洲A片在线视频，人人操人人玩人人干，麻豆国产AV无码精品一区二区

12月04日，（新春走基层）北京内蒙古合作7年边远小县城变成“菜篮子”，免费的AV网站，18馃毇馃毇馃毇，www.婷婷在线视频,com，8 8 海外永久免费视频

12月04日，数读中国 | “假日经济”升温文旅融合撬动消费新活力，久久精品国产亚洲AAA，69pao国产成永久免费视，国产黄在线观看免费观看不卡，毛片免费基地

监制：邓金木

策划：赖晗

主创：唐征宇林箴贺陈佛烘颜亦阳陈林韵

编辑：王家菁、段圣祺

k1体育麻将胡了

下载APP

所有

视频模子原生支持行动一致，只是你不会用！揭开「首帧」的神秘

热门视频

k1体育麻将胡了

下载APP

所有

视频模子原生支持行动一致 ，只是你不会用！揭开「首帧」的神秘

热门视频

视频模子原生支持行动一致，只是你不会用！揭开「首帧」的神秘