(10分钟全面解析)啊v在线免费观看电脑版v23.21.83.14.84.05-2265安卓网

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

ControlNet作者张吕敏最新论文:长视频也能实现超短上下文

2026-01-07 03:37:11
泉源:

猫眼影戏

作者:

贾尼丝·洛克拉尼

手机审查

  猫眼影戏记者 汉克斯维尔 报道Q8X2R7L1T4J5M9B6W3

编辑|冷猫

大部分的高质量视频天生模子,都只能天生上限约15秒的视频  。清晰度提高之后,天生的视频时长还会再一次缩短  。

这就让实验AI视频创意的创作者们非?嗄樟  。要想实现创意,必需使用分段天生,连系首尾帧,不但操作起来很贫困,并且需要往返抽卡来包管画面的一致性  。

那么,限制视频天生时长的瓶颈在那里?

各人可能不知道的是,一段 60 秒、480p、24 帧/秒的视频,在模子内部会被拆解成凌驾 50 万个「潜在 token」

这些 token 就像一条极长的影象胶带,模子想要坚持剧情连贯、画面一致,就必需重新到尾生涯上下文影象  。但价钱是:算力直接爆炸,通俗显卡基础扛不住  。

这正是目今自回归视频天生模子的焦点矛盾  。一边是越长的上下文,画面越连贯;另一边是越长的上下文,盘算本钱越高  。

于是,研究者们不得不做出妥协:要么用滑动窗口切掉大部分历史,换取可运行的算力;要么对视频举行激进压缩,牺牲清晰度和细节  。

问题在于,这些压缩要领往往最先丢掉的,正是决议画面真实感与一致性的高频细节  。

也正是在这一逆境下,苏州大学校友,斯坦福大学博士,ControlNet 创作者张吕敏团队为此投入了研究提出了一种新的解决思绪,给出了专为长视频设计的影象压缩系统,在压缩的同时尽可能保存细腻视觉信息  。

论文问题:Pretraining Frame Preservation in Autoregressive Video Memory Compression论文链接:https://arxiv.org/abs/2512.23851v1

研究团队提出了一种神经网络结构,用于将长视频压缩为短上下文,并设计了一种显式的预训练目的,使模子能够在恣意时间位置保存单帧中的高频细节信息  。

基线模子可以将一段20 秒的视频压缩为约 5k 长度的上下文体现,同时支持从中随机检索单帧,并在感知质量上坚持优异的外观保真度

这种预训练模子可以直接微调为自回归视频模子的影象编码器(memory encoder),从而以较低的上下文本钱实现长历史影象建模,并且仅带来相对较小的保真度损失  。

该视频是使用完整历史上下文(不切割任何历史  。┲鹈胱曰毓樘焐  。20 多秒的历史被压缩为 ~ 5k 上下文长度,并由 RTX 4070 12GB 处置惩罚  。

全新的影象压缩架构

详细而言,研究团队接纳两阶段战略

首先,预训练一个专用的影象压缩模子,其目的是在恣意时间位置上尽可能保存高保真帧级细节信息  。

该预训练目的通过对从压缩历史中随机采样的帧最小化其特征距离来实现,从而确保模子在整个序列规模内都能稳健地编码细节信息  。

在网络结构设计上,提出了一种轻量级双路径架构:模子同时处置惩罚低区分率视频流和高区分率残差信息流,并通过将高区分率特征直接注入 Diffusion Transformer 的内部通道,绕过古板 VAE 所带来的信息瓶颈,从而进一步提升细节保真度  。

预训练影象压缩模子

影象压缩模子的预训练  。影象压缩模子需要将长视频(例如 20 秒)压缩成短上下文(例如长度为 5k)  。预训练的目的是在恣意历史时间位置检索具有高频细节的帧  。

该要领的焦点立异在于其预训练目的设计

研究团队视察到,权衡视频压缩机制保存上下文细节能力的一个合适的指标是其恣意时间位置高质量帧检索的能力  。关于高压缩率,完善检索变得不切现实,因此目的变为最大化恣意帧的检索质量  。

随后,研究团队将所选的清洁帧复制作为扩散模子的目的,使扩散系统能够在恣意时间位置重修目的帧  。该历程可体现为:

这种随机化选择机制有用避免模子通过仅编码易于会见的  。ɡ缡字』蚰┲  。├础竿镀跞∏伞,从而迫使模子学习一种能够在整个时间序列规模内一连保存细节信息的体现方法  。

内存压缩模子的架构  。使用 3D 卷积、SiLU 和注重力机制来构建一个轻量级的神经网络结构,作为基准压缩模子  。

视频扩散模子的微调

微调自回归视频模子  。展示了最终自回归视频模子的微协调推理历程  。影象压缩模子的预训练在微调之前完成  。

由此获得的视频天生模子具备超长历史窗口(例如凌驾 20 秒)、极短的历史上下文长度(例如约 5k),并且对帧检索质量举行了显式优化  。

该扩散历程亦可凭证公式体现为:

实验效果

在实验中,研究团队使用 8 × H100 GPU 集群举行预训练,并使用 1 × H100s 或 A100s 举行 LoRAs 微调  。所有实验均在 HunyuanVideo和 Wan 系列的基础模子上举行  。

数据集由来自多个网站的约 500 万互联网视频组成  。其中约一半是竖屏短视频,其余为通俗横屏视频  。数据经由质量洗濯,然后使用 Gemini-2.5-flash VLM 对高质量部分举行字幕标注,剩余部分使用外地 VLM(如 QwenVL)举行处置惩罚  。测试集包括由 Gemini-2.5-pro 编写的 1000 个故事板提醒和 4096 个未在训练数据集中泛起过的视频  。

定性与定量评估

故事板上的定性效果  。通过从故事板中流式传输提醒来展示效果  。故事板是一组提醒,其中每个提醒涵盖一定命目的帧  。故事板可以由外部语言模子编写  。

在定性评估方面,如图所示,研究者证实晰模子能够处置惩罚多种多样的提醒和故事板,同时在角色、场景、物体和情节线方面坚持一致性  。

在定量评估方面,研究者们从 VBench、VBench2等平台引入了多个视频评估指标,并举行了一些修改  。

视频内容一致性的定量评测效果  。其中,Qwen 中的 「1p」 体现仅使用 1 张图像 作为图像模子输入  。由于部分要领保存严重伪影,因此未将其纳入人工 ELO 评分统计  。

如表所示,本文提出的要领在多个一致性指标上体现出合理的分数  。Wan+Qwen 组合在实例分数上似乎具有领先分数,这可能是由于图像模子不会显著改变或移动工具,从而阻止了 VLM 问答检测到的伪影  。本文的要领在工具一致性方面体现出有竞争力的分数  。别的,用户研究和 ELO 分数验证了本文提出的架构,证实它在压缩和质量之间实现了有用的权衡  。

消融实验

压缩结构的定量效果  。展示了使用差别消融压缩架构的数值测试  。

评测效果如表所示  。效果批注,本文要领在 PSNR、SSIM 等指标上取得了相对更优的性能  。别的,即便在 4×4×2 的较高压缩率条件下,该要领仍然能够有用坚持原始图像结构  。

压缩重修的视觉较量  。展示了使用差别可能的神经网络结构和种种压缩设置举行预训练后的重修效果  。

影象压缩模子预训练的影响  。展示了使用或未使用影象压缩模子预训练的效果  。输入是相同的 20 秒历史视频,在输出帧中可视化中心帧  。

除此以外,研究团队还在论文中讨论了差别神经网络架构设计之间的权衡取舍  。

更多信息,请参阅原论文  。

??时势1:亚洲成Aⅴ人的天堂在线观看女人

??01月07日,“世界读书日”临近 贵州民众共享书香,

  (一)村干部要践行群众蹊径,甘为孺子牛  。 人民群众是我们的实力源泉,亲近联系群众是我党最大的政治优势  。宽大村干部生长在下层,生涯在下层,事情在下层,与群众接触最为亲近,对他们的所思所想所盼最为清晰,要始终践行党的群众蹊径,甘为孺子牛  。要坚持从群众中来,到群众中去,真正和群众打成一片,听民声、访民意、察民情、排民忧、解民难,一直增进与人民群众的真情实感  。要鼎力大举学习弘扬焦裕禄精神,特殊是他 “ 心中装着全体人民、唯独没有他自己 ” 的公仆情怀,大兴效劳群众之风,想群众之所想,急群众之所急,帮群众之所需,认真解决民生问题,起劲把为群众排忧解难的各项事情落到实处  。要以 “ 起劲贡献 ” 为座右铭,把人生价值与党和人民事业的生长细密连系起来,多想群众少想自己,多想事业少想名利,坚持在其位、谋其政、尽其责,真正把所有心思和精神用在做事创业上,做到为官一任、造福一方  。

,户外夹跳蛋直播喷水app  。

??01月07日,美众议院表决认定司法部长加兰藐视国会,

  现在已经是4 月中旬了,各人要比照年头定下的目的,看看离这个目的尚有多远,然后寻找自身保存的问题,特殊是作风方面的问题  。现在最主要的就是要咬紧目的,鼓足劲头,把头脑和精神群集到狠抓落实上来  。抓好落实,要害在人,焦点在干部,在干部的事情作风上  。一个地方与一个地方的竞争,很洪流平上是干部素质的竞争,干部作风的竞争  。近年来,我们通过学习江浙等先进地区履历,就强烈地感受到,我们的干部与浙江的干部比,有很大的差别,主要体现在抓生长的理念没有人家新,抓落实的作风没有人家实,难题情形下破解难题的能力没有人家强  。我们千人桥区位和资源优势相对滞后,生长基础相对薄弱,这两年之以是取得了这么大的效果,靠的是艰辛斗争的作风,靠的是笃志苦干的精神,靠的是刷新立异的气概气派,靠的是优质高效的效劳  。总之一句话,靠的是人,是干部,是扎实的作风  。各人都好好琢磨一下,同是一个情形,同是一样的地方,为什么有的村和单位镇上安排的事情项项能落实,事事能乐成,并且有特色,可是有的单位和村,镇上安排的事情却没有多大转机  。有的甚至是上级给他钱,也干欠好事情  。我镇的妄想生育、村村通水泥公路和农业结构调解总体上应该是很不错的  。但我们一年到头抓计生事情,一年到头讲计生事情,可是我们就是有少数村、少数干部就是抓欠好,抓不到点子上去,一到检查就出问题  。问题出来后,不从自身找缘故原由,总是强调这样那样的客观缘故原由  。村规模要讲大,没有比重阳村再大的;生齿多,有比重阳村再多的吗?为什么重阳村在镇上和县里组织的计生检查中,就是不出问题,这不是重阳村干部作风扎实,是什么?再说,我们村村通水泥公路工程,全镇50% 的村在实验,为什么有的村群众捐钱踊跃,捐钱抵达90% 以上,而有的村险些一分钱收不上来,这又能说明什么呢?这只能说明我们的一些干部事情没有做抵家,要领差池路,步伐不得力  。

,中文字幕精品视频一区,停停爱久o,色哟哟 国产精品观看  。

??时势2:人操草操草操草操人人

??01月07日,广东多地再迎疾风暴雨 地质灾害风险高,

  直到良久后,人们才散去  。

,桃阁阁APP,美女被变态男扒开内衣强乳,日本免费黄色视频网  。

??01月07日,闽剧《画网巾先生》亮相第九届福建艺术节,

  回来的人大吼,一个个全都催动宝具,向前杀来,周围八方都是人影,全都率领一批能手,支援净土  。

,农村一级A片,自拍偷拍欧美日韩,欧美在线精品一区二区在线观看  。

??时势3:嗯啊不A片短视频

??01月07日,中央宣讲团在各地宣讲党的二十届三中全会精神,

  人才步队建设是学校一切事情的重中之重  。上半年,医学学科校友梅林教授受聘为我校“____”特聘讲座教授,3位学者受聘为“赣江学者”讲座教授  。3位教授获评为第三届“_省突出孝顺人才”人选,33人入选_省“赣鄱英才555工程”第三批次名单  。在第53批中国博士后科学基金面上资助评选中,1人获一等资助(_省仅1位),2人获二等资助  。在第6批中国博士后科学基金特殊资助评选中,1人获中国博士后科学基金特殊资助  。9位学者新增为中国博士后科学基金评审专家  。

,羞羞涩视频网站,一级BBB黄色大片,在线精品一级片  。

??01月07日,严查拒载、议价、绕路等行为 北京开展出租汽车行业专项整治行动上海上半年签发口岸外国人团体旅游签证4.3万人次 环比增长近两成,

  一经统驭这片大地、最强盛的雷族成为了历史云烟,不复保存!

,操b网站免费版,人人要人人玩人人爽,狼友视频―首页  。

??时势4:老头把我添高潮了A片

??01月07日,第六届中国青年马克思主义大会在昆明召开,

  在其头上,一座灰褐色的火山口,内部鲜红精气滔滔,这相同地是天地自然秩序之力,从外界罗致而来,与自己熔炼、相通  。

,免费色色网址视频网站,欧美一级成年午夜大片,人人操人人要  。

??01月07日,中国支持央企发起设立创业投资基金 重点投硬科技,

  女子抱过婴儿,温柔的亲了亲他红扑扑的小脸,眼中闪灼着绚烂的色泽,道:“无论他是否有至尊骨,都是我们的孩子,要让他快乐的长大  。”

,日本网站大全www色色色,欧美福利网站大全,669.pics  。

责编:江亭

审核:郑清海

责编:麦昆

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图