猫眼影戏
猫眼影戏
西安—温州
手机审查
猫眼影戏记者 安妮-史 报道Q8X2R7L1T4J5M9B6W3
编辑|冷猫
大部分的高质量视频天生模子,都只能天生上限约15秒的视频。清晰度提高之后,天生的视频时长还会再一次缩短。
这就让实验AI视频创意的创作者们非?嗄樟。要想实现创意,必需使用分段天生,连系首尾帧,不但操作起来很贫困,并且需要往返抽卡来包管画面的一致性。
那么,限制视频天生时长的瓶颈在那里?
各人可能不知道的是,一段 60 秒、480p、24 帧/秒的视频,在模子内部会被拆解成凌驾 50 万个「潜在 token」
这些 token 就像一条极长的影象胶带,模子想要坚持剧情连贯、画面一致,就必需重新到尾生涯上下文影象。但价钱是:算力直接爆炸,通俗显卡基础扛不住。
这正是目今自回归视频天生模子的焦点矛盾。一边是越长的上下文,画面越连贯;另一边是越长的上下文,盘算本钱越高。
于是,研究者们不得不做出妥协:要么用滑动窗口切掉大部分历史,换取可运行的算力;要么对视频举行激进压缩,牺牲清晰度和细节。
问题在于,这些压缩要领往往最先丢掉的,正是决议画面真实感与一致性的高频细节。
也正是在这一逆境下,苏州大学校友,斯坦福大学博士,ControlNet 创作者张吕敏团队为此投入了研究提出了一种新的解决思绪,给出了专为长视频设计的影象压缩系统,在压缩的同时尽可能保存细腻视觉信息。
论文问题:Pretraining Frame Preservation in Autoregressive Video Memory Compression论文链接:https://arxiv.org/abs/2512.23851v1
研究团队提出了一种神经网络结构,用于将长视频压缩为短上下文,并设计了一种显式的预训练目的,使模子能够在恣意时间位置保存单帧中的高频细节信息。
基线模子可以将一段20 秒的视频压缩为约 5k 长度的上下文体现,同时支持从中随机检索单帧,并在感知质量上坚持优异的外观保真度
这种预训练模子可以直接微调为自回归视频模子的影象编码器(memory encoder),从而以较低的上下文本钱实现长历史影象建模,并且仅带来相对较小的保真度损失。
该视频是使用完整历史上下文(不切割任何历史。┲鹈胱曰毓樘焐。20 多秒的历史被压缩为 ~ 5k 上下文长度,并由 RTX 4070 12GB 处置惩罚。
全新的影象压缩架构
详细而言,研究团队接纳两阶段战略
首先,预训练一个专用的影象压缩模子,其目的是在恣意时间位置上尽可能保存高保真帧级细节信息。
该预训练目的通过对从压缩历史中随机采样的帧最小化其特征距离来实现,从而确保模子在整个序列规模内都能稳健地编码细节信息。
在网络结构设计上,提出了一种轻量级双路径架构:模子同时处置惩罚低区分率视频流和高区分率残差信息流,并通过将高区分率特征直接注入 Diffusion Transformer 的内部通道,绕过古板 VAE 所带来的信息瓶颈,从而进一步提升细节保真度。
预训练影象压缩模子
影象压缩模子的预训练。影象压缩模子需要将长视频(例如 20 秒)压缩成短上下文(例如长度为 5k)。预训练的目的是在恣意历史时间位置检索具有高频细节的帧。
该要领的焦点立异在于其预训练目的设计
研究团队视察到,权衡视频压缩机制保存上下文细节能力的一个合适的指标是其恣意时间位置高质量帧检索的能力。关于高压缩率,完善检索变得不切现实,因此目的变为最大化恣意帧的检索质量。
随后,研究团队将所选的清洁帧复制作为扩散模子的目的,使扩散系统能够在恣意时间位置重修目的帧。该历程可体现为:
这种随机化选择机制有用避免模子通过仅编码易于会见的。ɡ缡字』蚰┲。├础竿镀跞∏伞,从而迫使模子学习一种能够在整个时间序列规模内一连保存细节信息的体现方法。
内存压缩模子的架构。使用 3D 卷积、SiLU 和注重力机制来构建一个轻量级的神经网络结构,作为基准压缩模子。
视频扩散模子的微调
微调自回归视频模子。展示了最终自回归视频模子的微协调推理历程。影象压缩模子的预训练在微调之前完成。
由此获得的视频天生模子具备超长历史窗口(例如凌驾 20 秒)、极短的历史上下文长度(例如约 5k),并且对帧检索质量举行了显式优化。
该扩散历程亦可凭证公式体现为:
实验效果
在实验中,研究团队使用 8 × H100 GPU 集群举行预训练,并使用 1 × H100s 或 A100s 举行 LoRAs 微调。所有实验均在 HunyuanVideo和 Wan 系列的基础模子上举行。
数据集由来自多个网站的约 500 万互联网视频组成。其中约一半是竖屏短视频,其余为通俗横屏视频。数据经由质量洗濯,然后使用 Gemini-2.5-flash VLM 对高质量部分举行字幕标注,剩余部分使用外地 VLM(如 QwenVL)举行处置惩罚。测试集包括由 Gemini-2.5-pro 编写的 1000 个故事板提醒和 4096 个未在训练数据集中泛起过的视频。
定性与定量评估
故事板上的定性效果。通过从故事板中流式传输提醒来展示效果。故事板是一组提醒,其中每个提醒涵盖一定命目的帧。故事板可以由外部语言模子编写。
在定性评估方面,如图所示,研究者证实晰模子能够处置惩罚多种多样的提醒和故事板,同时在角色、场景、物体和情节线方面坚持一致性。
在定量评估方面,研究者们从 VBench、VBench2等平台引入了多个视频评估指标,并举行了一些修改。
视频内容一致性的定量评测效果。其中,Qwen 中的 「1p」 体现仅使用 1 张图像 作为图像模子输入。由于部分要领保存严重伪影,因此未将其纳入人工 ELO 评分统计。
如表所示,本文提出的要领在多个一致性指标上体现出合理的分数。Wan+Qwen 组合在实例分数上似乎具有领先分数,这可能是由于图像模子不会显著改变或移动工具,从而阻止了 VLM 问答检测到的伪影。本文的要领在工具一致性方面体现出有竞争力的分数。别的,用户研究和 ELO 分数验证了本文提出的架构,证实它在压缩和质量之间实现了有用的权衡。
消融实验
压缩结构的定量效果。展示了使用差别消融压缩架构的数值测试。
评测效果如表所示。效果批注,本文要领在 PSNR、SSIM 等指标上取得了相对更优的性能。别的,即便在 4×4×2 的较高压缩率条件下,该要领仍然能够有用坚持原始图像结构。
压缩重修的视觉较量。展示了使用差别可能的神经网络结构和种种压缩设置举行预训练后的重修效果。
影象压缩模子预训练的影响。展示了使用或未使用影象压缩模子预训练的效果。输入是相同的 20 秒历史视频,在输出帧中可视化中心帧。
除此以外,研究团队还在论文中讨论了差别神经网络架构设计之间的权衡取舍。
更多信息,请参阅原论文。
??时势1:亚洲毛片不卡视频
??01月09日,防汛形势严峻 广东全省27个水文站超警戒,
三是要切实提高好群众事情的能力和水平。做好群众事情,是我们顺遂转型生长的主要包管。必需进一步体贴群众,切实做好群众事情,构建共建共享名堂。要鼎力大举生长社会事业,真正使人民群众共享生长效果。要一直提高既善于当好群众的学生,也善于当好群众的先生的本事,树立群众看法,站稳群众态度,眼睛向下看,身子向下弯,事情向下沉,情绪向下移,与群众打成一片。另一方面,也要熟悉到,群众需要指导、教育和资助。邓小平同志指出,群众的意见,有合理的,合理的就去做。有一部分基本合理,合理的部分就去做,办不到的要诠释。有一部分是不对理的,要去做事情,举行说服。我们要按期开展向导包社区夜话,组织宣讲队和按期向宽大市民转达街道一心为民办实事好事的希望和效果,严酷开展记民情日志和与民谈心活动,当好协调共事的宣传员、群众诉求的署理员、矛盾纠纷的调解员,催促自己以更好的状态、更大的力度推动各项事情深入开展。
,台湾男男爆菊gay无套。??01月09日,大熊猫“福宝”在四川与公众见面 10天内听懂“乡音”,
二要联系现实,活学活用。各人在学习的时间,要比照自己的村情,连系各自的现实,有针对性地学,特殊是连系事情实践中的疑难问题和薄弱环节,带着问题学,使这次学习培训取得优异效果。
,gzdaqm.com,日本jizz中国,八酱一挑三的视频片段。??时势2:惩罚女仆打屁股模拟器
??01月09日,藏族患者在北京顺利完成手术 开启人生新篇章,
历史的潮流,声势赫赫、滔滔向前。今天,我们又站在一个新的历史起点上。我国已经进入周全落实科学生长观、构建社会主义协调社会的新的生长阶段,上海也正在加速推进“四个率先”、加速建设“四其中心”和现代化国际大都市的征程上阔步前进。我们这代年轻人应该怎样来纪念历史?怎样来纪念“五四”?有一位先哲一经说过:“我们关于历史最好的纪念,就是把前人想要做而没有来得及做或者没有完成的事情,做得更好。”关于今世年轻人来说,我们需要不懈地追求,只有理想远大、信心坚定、目的执着,将小我私家价值的实现融入党和人民的伟大事业中,我们的天地才会无限辽阔;我们需要不懈地学习,把青年群体打造成一个最勤劳学习、最受苦学习、最善于学习、最具学习能力的群体,以学习长实力,以实力争生长;我们需要不懈地立异,立异我们的头脑,立异我们的事情,立异我们的机制,以立异来推动事业的前进,以立异来获得更大的生长;我们需要不懈地贡献,贡献在我们的岗位上,贡献在我们的社会中,以贡献提升我们的人生价值,以贡献使我们的社会变得越发协调、越发温馨。
,麻豆视频网址,西施裸体被 到爽,八重神子翻白眼流口水。??01月09日,福建宁德侨界举办迎新春联络联谊活动,
今晚是商会“情系会员,助力生长”新年联谊会,也是西方一年一度的圣诞节。在这温馨、漂亮、快乐的夜晚,我们集聚x旅馆,共度良辰美景,请允许我首先谨代表商会及自己,向在座的列位、外国友人,致一声:“圣诞快乐,MerryChristmas!”
,国产精品无码超碰最新,白丝姐姐吃鸡巴,黄色视频在线观看大片。??时势3:国产美女激情视频网站免费
??01月09日,国家主席习近平任免驻外大使,
一是生长的信心缺乏。部分同志对实现快生长、大生长的信心缺乏,气馁失望,精神萎靡,走路低着头、开会坐后头、事情没劲头,损失了前进的动力和战斗的意志。
,亚洲少妇无码视频,久久精品国产72精品,黑料不打烊徐若瑄天使心。??01月09日,广西7条河流9个站点超警 继续发布洪水蓝色预警,
其他娃子全都眼晕,神色发白,就这么盖严实了,那么沸的水能受的了吗,尚有怎么呼吸?
,亚洲黄色三级片,国产激情 专区 在线,激情图片电影。??时势4:天天操夜夜操APP下载安装
??01月09日,不折不扣落实好结构性减税降费政策,
“这种异象好神秘!”村人发呆,但主要的心绪倒也缓解了不少。
,美日韩一二三,免费的人成视频在线观看网站,一级特黄特色录像大片。??01月09日,“中企在匈投资兴业带来全新的机遇”,
“大叔,你带着那条飞蛟是留着吃的,照旧要炼真血用?”二猛傻乎乎的问道。
,狠狠入,色啪免费,雏田扒开屁股让鸣人猛戳。责编:雷德尔斯
审核:超模海蒂—克拉姆
责编:邵家人
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话:0531-85193202 违法不良信息举报电话:0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1