黄色视频夫妻生活呻吟电影院,探索无限精彩,畅享不一样的世界,让生活更有趣

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

ControlNet作者张吕敏最新论文:长视频也能实现超短上下文

2026-01-10 18:13:47
泉源:

猫眼影戏

作者:

广鑫

手机审查

  猫眼影戏记者 艾希提诺 报道Q8X2R7L1T4J5M9B6W3

编辑|冷猫

大部分的高质量视频天生模子,都只能天生上限约15秒的视频  。清晰度提高之后,天生的视频时长还会再一次缩短  。

这就让实验AI视频创意的创作者们非?嗄樟  。要想实现创意,必需使用分段天生,连系首尾帧,不但操作起来很贫困,并且需要往返抽卡来包管画面的一致性  。

那么,限制视频天生时长的瓶颈在那里?

各人可能不知道的是,一段 60 秒、480p、24 帧/秒的视频,在模子内部会被拆解成凌驾 50 万个「潜在 token」

这些 token 就像一条极长的影象胶带,模子想要坚持剧情连贯、画面一致,就必需重新到尾生涯上下文影象  。但价钱是:算力直接爆炸,通俗显卡基础扛不住  。

这正是目今自回归视频天生模子的焦点矛盾  。一边是越长的上下文,画面越连贯 ;另一边是越长的上下文,盘算本钱越高  。

于是,研究者们不得不做出妥协:要么用滑动窗口切掉大部分历史,换取可运行的算力 ;要么对视频举行激进压缩,牺牲清晰度和细节  。

问题在于,这些压缩要领往往最先丢掉的,正是决议画面真实感与一致性的高频细节  。

也正是在这一逆境下,苏州大学校友,斯坦福大学博士,ControlNet 创作者张吕敏团队为此投入了研究提出了一种新的解决思绪,给出了专为长视频设计的影象压缩系统,在压缩的同时尽可能保存细腻视觉信息  。

论文问题:Pretraining Frame Preservation in Autoregressive Video Memory Compression论文链接:https://arxiv.org/abs/2512.23851v1

研究团队提出了一种神经网络结构,用于将长视频压缩为短上下文,并设计了一种显式的预训练目的,使模子能够在恣意时间位置保存单帧中的高频细节信息  。

基线模子可以将一段20 秒的视频压缩为约 5k 长度的上下文体现,同时支持从中随机检索单帧,并在感知质量上坚持优异的外观保真度

这种预训练模子可以直接微调为自回归视频模子的影象编码器(memory encoder),从而以较低的上下文本钱实现长历史影象建模,并且仅带来相对较小的保真度损失  。

该视频是使用完整历史上下文(不切割任何历史  。┲鹈胱曰毓樘焐  。20 多秒的历史被压缩为 ~ 5k 上下文长度,并由 RTX 4070 12GB 处置惩罚  。

全新的影象压缩架构

详细而言,研究团队接纳两阶段战略

首先,预训练一个专用的影象压缩模子,其目的是在恣意时间位置上尽可能保存高保真帧级细节信息  。

该预训练目的通过对从压缩历史中随机采样的帧最小化其特征距离来实现,从而确保模子在整个序列规模内都能稳健地编码细节信息  。

在网络结构设计上,提出了一种轻量级双路径架构:模子同时处置惩罚低区分率视频流和高区分率残差信息流,并通过将高区分率特征直接注入 Diffusion Transformer 的内部通道,绕过古板 VAE 所带来的信息瓶颈,从而进一步提升细节保真度  。

预训练影象压缩模子

影象压缩模子的预训练  。影象压缩模子需要将长视频(例如 20 秒)压缩成短上下文(例如长度为 5k)  。预训练的目的是在恣意历史时间位置检索具有高频细节的帧  。

该要领的焦点立异在于其预训练目的设计

研究团队视察到,权衡视频压缩机制保存上下文细节能力的一个合适的指标是其恣意时间位置高质量帧检索的能力  。关于高压缩率,完善检索变得不切现实,因此目的变为最大化恣意帧的检索质量  。

随后,研究团队将所选的清洁帧复制作为扩散模子的目的,使扩散系统能够在恣意时间位置重修目的帧  。该历程可体现为:

这种随机化选择机制有用避免模子通过仅编码易于会见的  。ɡ缡字』蚰┲  。├础竿镀跞∏伞,从而迫使模子学习一种能够在整个时间序列规模内一连保存细节信息的体现方法  。

内存压缩模子的架构  。使用 3D 卷积、SiLU 和注重力机制来构建一个轻量级的神经网络结构,作为基准压缩模子  。

视频扩散模子的微调

微调自回归视频模子  。展示了最终自回归视频模子的微协调推理历程  。影象压缩模子的预训练在微调之前完成  。

由此获得的视频天生模子具备超长历史窗口(例如凌驾 20 秒)、极短的历史上下文长度(例如约 5k),并且对帧检索质量举行了显式优化  。

该扩散历程亦可凭证公式体现为:

实验效果

在实验中,研究团队使用 8 × H100 GPU 集群举行预训练,并使用 1 × H100s 或 A100s 举行 LoRAs 微调  。所有实验均在 HunyuanVideo和 Wan 系列的基础模子上举行  。

数据集由来自多个网站的约 500 万互联网视频组成  。其中约一半是竖屏短视频,其余为通俗横屏视频  。数据经由质量洗濯,然后使用 Gemini-2.5-flash VLM 对高质量部分举行字幕标注,剩余部分使用外地 VLM(如 QwenVL)举行处置惩罚  。测试集包括由 Gemini-2.5-pro 编写的 1000 个故事板提醒和 4096 个未在训练数据集中泛起过的视频  。

定性与定量评估

故事板上的定性效果  。通过从故事板中流式传输提醒来展示效果  。故事板是一组提醒,其中每个提醒涵盖一定命目的帧  。故事板可以由外部语言模子编写  。

在定性评估方面,如图所示,研究者证实晰模子能够处置惩罚多种多样的提醒和故事板,同时在角色、场景、物体和情节线方面坚持一致性  。

在定量评估方面,研究者们从 VBench、VBench2等平台引入了多个视频评估指标,并举行了一些修改  。

视频内容一致性的定量评测效果  。其中,Qwen 中的 「1p」 体现仅使用 1 张图像 作为图像模子输入  。由于部分要领保存严重伪影,因此未将其纳入人工 ELO 评分统计  。

如表所示,本文提出的要领在多个一致性指标上体现出合理的分数  。Wan+Qwen 组合在实例分数上似乎具有领先分数,这可能是由于图像模子不会显著改变或移动工具,从而阻止了 VLM 问答检测到的伪影  。本文的要领在工具一致性方面体现出有竞争力的分数  。别的,用户研究和 ELO 分数验证了本文提出的架构,证实它在压缩和质量之间实现了有用的权衡  。

消融实验

压缩结构的定量效果  。展示了使用差别消融压缩架构的数值测试  。

评测效果如表所示  。效果批注,本文要领在 PSNR、SSIM 等指标上取得了相对更优的性能  。别的,即便在 4×4×2 的较高压缩率条件下,该要领仍然能够有用坚持原始图像结构  。

压缩重修的视觉较量  。展示了使用差别可能的神经网络结构和种种压缩设置举行预训练后的重修效果  。

影象压缩模子预训练的影响  。展示了使用或未使用影象压缩模子预训练的效果  。输入是相同的 20 秒历史视频,在输出帧中可视化中心帧  。

除此以外,研究团队还在论文中讨论了差别神经网络架构设计之间的权衡取舍  。

更多信息,请参阅原论文  。

??时势1:一级a爱做免费中文

??01月10日,中国正能量|古韵浓墨绘古今,

招商银行信用卡逾期五天是一种不良信用行为,本文探讨了逾期的特征、缘故原由和应对战略,同时先容了对招商银行信用卡逾期五天的解决   。 招商银行信用卡逾期了4天才还款,那会爆发以下的效果:逾期纪录已经上传到了征中,从还清之日算起,逾期纪录要在5年以后才删除 ;征在恢复正常之前,户将无法办贷营业...

,国产在线性  。

??01月10日,吉林省推进老年助餐服务:让老人“暖胃”更“暖心”,

  石村的人都不干了,一二再而三,狈村的人一直盛气凌人,这不是第一次脱手了  。

,人人澡人人看,老师在办公室被躁在线视频,虐女殖器酷刑惨叫视频  。

??时势2:国内精品免费一二三区三

??01月10日,参访海南“海陆空”产业 香港学生:科技梦想心中萌芽,

  其次,是准确看待目今面临情形,妥善处置惩罚好换届后爆发负面问题的需要  。在这次三委会换届中,各村事情适当,要领合理,使换届选举顺遂完成,各村的新一届班子的年岁结构越发轻、文化条理越发高、为民效劳意识越发强,可是,个体村也泛起了一些新问题  。一是个体村未能较好的处置惩罚党支部与村委会的关系  。个体村的村委以为党支部是内部选举爆发的,村委会是全体村民选举爆发的,参选工具比党支部大,以是拒不平从党支部的向导,并随处发号施令,造成两套班子“两张皮”征象,致使“两委”关系不协调  。二是村委会主任候选人以及委员候选人竞争引起的不团结征象  。在这次村委会换届中,由于个体人没有准确看待选举,随处拉帮结派,拉票买票,泛起了不正常选举,致使候选人之间爆发了矛盾,同时,这部分人在选举时乱允许,乱应允,在群众中造成的极坏的影响,严重地滋扰了村里正常事情  。三是片面明确村民自治和村民选举,个体新选举出来的村委会成员以为,我是村民先出来的,是村民给我的权力,以是在事情中只对下认真,差池上认真,拒不执行镇党委、政府制订的各项事情制度和安排下来的事情使命,对涉及本村经济和社会生长的事业,严重违反党支部向导原则,乱干蛮干等等  。通过这次培训,就是要进一步亲近党群干群关系,增强农村党组织创立力、凝聚力和战斗力,增进三委会成员之间的配合和协作,推进农村下层民主政治建设牢靠,从而增强党在农村的执政基础  。

,曰本美女一级A片视频了,无码秘 人妻一区二区三区筱田优,金智妍被揉到高潮下不了床  。

??01月10日,青海“非遗大集”系列活动在西宁启动,

  这才一段时间罢了,石昊就已经斩杀了六七头怪物,他跬步不离,守护在青鳞鹰的身边,可再这样下去,必会引来山脉较深处的凶兽  。

,无码动漫涩黄网址进入,免费观看欧美黄色视频,亚洲,国产,欧美一区二区  。

??时势3:国产精品大陆

??01月10日,老有所养、业有所从、住有所居……把件件实事办进群众心里——幸福底色更加亮丽,

  与此同时,振翅的声音响起,七八头凶禽从四方俯冲而下,一起抓向青鳞鹰,由于它们以为受到的威胁最大,想联手除掉这个空中霸主  。

,亚洲小说图片频道,强奸视频网站在线免费看,色婷综合网  。

??01月10日,冬游西藏新风尚:藏装拍照、寄明信片成热门,

  4、学会刷新学习要领——作为一名学生,提高学习效果最好的步伐就是在认真学习的条件下,学会刷新学习要领  。为此就必需经常反思自己的学习  。优异的学习习惯是搞勤学习的主要包管,效果好的同砚大多有优异的学习习惯  。因此,作育优异的学习习惯,对每一个学生来说都是很是主要的  。可是差别的学生有差别的学习基础,良勤学习习惯的形成必需适合自己的情形,真正有利于自己的学习效果,你们现在每一小我私家都有牢靠的学习要领,可是我们可以借判别人的优异效果,优化自己的要领,真正找到属于自己的、适合自己的学习要领才是最好的学习要领  。(举例:浙江的一个高考理科状元,错题网络本的事例)  。

,欧美精品三级,在线高清无码不卡,国产女生喷水视频  。

??时势4:亚洲Aⅴ无码专区国产乱码

??01月10日,中国汽车出海非洲专场论坛在杭举办 共探中非经贸合作新模式,

  “它果真要在这里栖居下去,时间长了,若是繁衍出一些子女,我们石村的人收支山脉时将会受到致命的威胁!”

,激情黄色av,91碰碰,深夜在线免费观看  。

??01月10日,关于美国奥运选手埃里扬·奈顿类固醇阳性的声明 ,

  一、增强学习,做勤学善思的楷模

,婷婷精品,午夜黄色成人视频在线观看,少妇色A毛片视频  。

【美众议院表决认定司法部长加兰藐视国会】

【透视中国经济年报:向好、向新、向实】

责编:拉涅利

审核:维尔格内斯

责编:朱兆祥

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图