猫眼影戏
猫眼影戏
邓戈
手机审查
猫眼影戏记者 斯蒂芬·哈纳 报道Q8X2R7L1T4J5M9B6W3
编辑|冷猫
大部分的高质量视频天生模子,都只能天生上限约15秒的视频。清晰度提高之后,天生的视频时长还会再一次缩短。
这就让实验AI视频创意的创作者们非?嗄樟。要想实现创意,必需使用分段天生,连系首尾帧,不但操作起来很贫困,并且需要往返抽卡来包管画面的一致性。
那么,限制视频天生时长的瓶颈在那里?
各人可能不知道的是,一段 60 秒、480p、24 帧/秒的视频,在模子内部会被拆解成凌驾 50 万个「潜在 token」
这些 token 就像一条极长的影象胶带,模子想要坚持剧情连贯、画面一致,就必需重新到尾生涯上下文影象。但价钱是:算力直接爆炸,通俗显卡基础扛不住。
这正是目今自回归视频天生模子的焦点矛盾。一边是越长的上下文,画面越连贯;另一边是越长的上下文,盘算本钱越高。
于是,研究者们不得不做出妥协:要么用滑动窗口切掉大部分历史,换取可运行的算力;要么对视频举行激进压缩,牺牲清晰度和细节。
问题在于,这些压缩要领往往最先丢掉的,正是决议画面真实感与一致性的高频细节。
也正是在这一逆境下,苏州大学校友,斯坦福大学博士,ControlNet 创作者张吕敏团队为此投入了研究提出了一种新的解决思绪,给出了专为长视频设计的影象压缩系统,在压缩的同时尽可能保存细腻视觉信息。
论文问题:Pretraining Frame Preservation in Autoregressive Video Memory Compression论文链接:https://arxiv.org/abs/2512.23851v1
研究团队提出了一种神经网络结构,用于将长视频压缩为短上下文,并设计了一种显式的预训练目的,使模子能够在恣意时间位置保存单帧中的高频细节信息。
基线模子可以将一段20 秒的视频压缩为约 5k 长度的上下文体现,同时支持从中随机检索单帧,并在感知质量上坚持优异的外观保真度
这种预训练模子可以直接微调为自回归视频模子的影象编码器(memory encoder),从而以较低的上下文本钱实现长历史影象建模,并且仅带来相对较小的保真度损失。
该视频是使用完整历史上下文(不切割任何历史。┲鹈胱曰毓樘焐。20 多秒的历史被压缩为 ~ 5k 上下文长度,并由 RTX 4070 12GB 处置惩罚。
全新的影象压缩架构
详细而言,研究团队接纳两阶段战略
首先,预训练一个专用的影象压缩模子,其目的是在恣意时间位置上尽可能保存高保真帧级细节信息。
该预训练目的通过对从压缩历史中随机采样的帧最小化其特征距离来实现,从而确保模子在整个序列规模内都能稳健地编码细节信息。
在网络结构设计上,提出了一种轻量级双路径架构:模子同时处置惩罚低区分率视频流和高区分率残差信息流,并通过将高区分率特征直接注入 Diffusion Transformer 的内部通道,绕过古板 VAE 所带来的信息瓶颈,从而进一步提升细节保真度。
预训练影象压缩模子
影象压缩模子的预训练。影象压缩模子需要将长视频(例如 20 秒)压缩成短上下文(例如长度为 5k)。预训练的目的是在恣意历史时间位置检索具有高频细节的帧。
该要领的焦点立异在于其预训练目的设计
研究团队视察到,权衡视频压缩机制保存上下文细节能力的一个合适的指标是其恣意时间位置高质量帧检索的能力。关于高压缩率,完善检索变得不切现实,因此目的变为最大化恣意帧的检索质量。
随后,研究团队将所选的清洁帧复制作为扩散模子的目的,使扩散系统能够在恣意时间位置重修目的帧。该历程可体现为:
这种随机化选择机制有用避免模子通过仅编码易于会见的。ɡ缡字』蚰┲。├础竿镀跞∏伞,从而迫使模子学习一种能够在整个时间序列规模内一连保存细节信息的体现方法。
内存压缩模子的架构。使用 3D 卷积、SiLU 和注重力机制来构建一个轻量级的神经网络结构,作为基准压缩模子。
视频扩散模子的微调
微调自回归视频模子。展示了最终自回归视频模子的微协调推理历程。影象压缩模子的预训练在微调之前完成。
由此获得的视频天生模子具备超长历史窗口(例如凌驾 20 秒)、极短的历史上下文长度(例如约 5k),并且对帧检索质量举行了显式优化。
该扩散历程亦可凭证公式体现为:
实验效果
在实验中,研究团队使用 8 × H100 GPU 集群举行预训练,并使用 1 × H100s 或 A100s 举行 LoRAs 微调。所有实验均在 HunyuanVideo和 Wan 系列的基础模子上举行。
数据集由来自多个网站的约 500 万互联网视频组成。其中约一半是竖屏短视频,其余为通俗横屏视频。数据经由质量洗濯,然后使用 Gemini-2.5-flash VLM 对高质量部分举行字幕标注,剩余部分使用外地 VLM(如 QwenVL)举行处置惩罚。测试集包括由 Gemini-2.5-pro 编写的 1000 个故事板提醒和 4096 个未在训练数据集中泛起过的视频。
定性与定量评估
故事板上的定性效果。通过从故事板中流式传输提醒来展示效果。故事板是一组提醒,其中每个提醒涵盖一定命目的帧。故事板可以由外部语言模子编写。
在定性评估方面,如图所示,研究者证实晰模子能够处置惩罚多种多样的提醒和故事板,同时在角色、场景、物体和情节线方面坚持一致性。
在定量评估方面,研究者们从 VBench、VBench2等平台引入了多个视频评估指标,并举行了一些修改。
视频内容一致性的定量评测效果。其中,Qwen 中的 「1p」 体现仅使用 1 张图像 作为图像模子输入。由于部分要领保存严重伪影,因此未将其纳入人工 ELO 评分统计。
如表所示,本文提出的要领在多个一致性指标上体现出合理的分数。Wan+Qwen 组合在实例分数上似乎具有领先分数,这可能是由于图像模子不会显著改变或移动工具,从而阻止了 VLM 问答检测到的伪影。本文的要领在工具一致性方面体现出有竞争力的分数。别的,用户研究和 ELO 分数验证了本文提出的架构,证实它在压缩和质量之间实现了有用的权衡。
消融实验
压缩结构的定量效果。展示了使用差别消融压缩架构的数值测试。
评测效果如表所示。效果批注,本文要领在 PSNR、SSIM 等指标上取得了相对更优的性能。别的,即便在 4×4×2 的较高压缩率条件下,该要领仍然能够有用坚持原始图像结构。
压缩重修的视觉较量。展示了使用差别可能的神经网络结构和种种压缩设置举行预训练后的重修效果。
影象压缩模子预训练的影响。展示了使用或未使用影象压缩模子预训练的效果。输入是相同的 20 秒历史视频,在输出帧中可视化中心帧。
除此以外,研究团队还在论文中讨论了差别神经网络架构设计之间的权衡取舍。
更多信息,请参阅原论文。
??时势1:A级毛片免费无码
??01月06日,百余名设计师创意“龙”形展亮相天津,
现在农村的生产方法还主要是一家一户的疏散生产,农民之间除了血缘宗族联系外,缺乏内在的细密联系,农民的组织化水平处于较低水平,农村事情也保存一定的随意性,缺乏刚性的制度化约束。生长现代市场经济,要求将农民组织起来,配合抵御市场危害,实现配合生长;实现农村的现代化,也要求农村的各项事情走上经;贫然墓斓。只有把村干部作育成为农民群众的主心骨,把村班子建设成为团结一致、顽强有力的向导整体,真正实现民主决议、民主治理、民主选举、民主监视,才华把农民的起劲性调动起来,把农民的实力凝聚起来。因此组织村级干部加入培训,不但可以使村“两委”班子成员受到执法、规则、政策和市场经济等方面的系统的作育 教育,还可以使宽大农村干部熟悉掌握《村委会组织法》、《两委事情规则》等执法、规则,增强法制看法,提高依法效劳能力,从而使农民能够评议、监视村干部的事情、政绩,选举爆发出自己信任、拥护的村班子,建设健全监视约束机制,认真落实村务果真、财务治理等规章制度,使村级各项事情走上制度化、规范化的轨道。
,亚洲h视频在线免费观看。??01月06日,欧盟拟对中国电动汽车加税 奔驰、宝马、大众表态,
一座枯崖立于海上,弘大无比,鲲鹏巢就筑在上面,自远古遗存至今,始终隐于汪洋间,无人得见巢中的盖世神通。
,一级毛片和美国久久久久,黄色网站免费性爱视频,黄泉100%裸妆壁纸。??时势2:国产精品视频狼友视频
??01月06日,国台办回应美方所谓“2758号决议未决定台湾地位”等言论,
一头五色大虫泛起,足有水缸粗细,全身闪灼绚烂的符文,不是蟒蛇,但却比它们还狰狞,恼怒的叫着,又是只差了一点,它扭动重大的躯体,将这片山林夷为平地。
,金荷娜韩国svip在线播放,亚州爆乳黄色A片网站,美女被 又爽 又黄菠萝喷水作文。??01月06日,下载小心 工信部通报27款App存在侵害用户权益行为,
#女子吐槽坐高铁被大爷举手机偷拍#高铁是个照妖镜,男女都会现真相!今天讲一个大爷偷拍玉人的故事。8月10日,在吉林松原,有一位大爷坐在高铁上突然发明有仙女入了世间,正好落在身后,兴致大起?烧馕淮笠称ふ站陕员∫恍,一直不敢直视,于是用手机偷拍浏览。不想被玉人发明,赶忙关闭摄像头,可有没忍住,又用屏...
??时势3:yin乱大巴在线
??01月06日,【习声回响】引导激励广大群众依靠自己的双手创造幸福生活,
2、轻声闲步过走廊,中午检查纪律的同砚也要注重这一点,不可急跑,滋扰同砚休息学习,也不清静,也没须要,戋戋十几米跑能节约几多时间啊?
,99re这里只有精品视频6,三级片视频免费版,国产迷奷高潮A片XXXX。??01月06日,河南省民政厅党组成员、副厅长杨蕾接受纪律审查和监察调查,
十几头独角兽银蹄翻腾,如神圣箭羽离线而去,划出一道道银光,没入山脉中。
,91精品国产手机,中文字幕精品无码综合网导航,91免费观看在线观看3。??时势4:女仆扒开腿秘 让人侵犯
??01月06日,台湾花莲县海域发生5.0级地震 震源深度20千米,
至于石林虎、石飞蛟等一大批青壮年人,则更是呼吸急促,眼睛都快红了。
,东北真实仑乱,AAA级无码视频,裸体美女视频网站三区 玫瑰堂。??01月06日,德国总理时隔两年半访问基辅 计划宣布对乌新军援,
目今,国家的金融政策是支持县域经济和中小企业(特殊是小微企业)的生长。对我们来讲,推动全区工业经济转型升级是实现全区经济社会跨越式生长的要害,只有支持了工业经济,才华更有力地增进地方经济的生长。下一步,我们将进一步转变谋划理念,明确信贷重点,加大投放力度,更好地效劳工业经济的生长。一是要切实转变谋划理念。要一直强化市场意识,准确处置惩罚好存与贷的关系,既要树立“存款立行”的生长看法,更要树立“贷款兴行”的谋划理念,起劲战胜不切合市场经济纪律的“零危害”信贷意识,把做活、做好信贷资金作为增强自身盈利能力的主攻偏向,找准危害与收益的最佳切入点,千方百计地扩大对企业的信贷投入,慎贷而不吝贷。二是要起劲转变事情作风。要自动深入企业效劳,变被动接受贷款申请为自动寻找优质客户工具,变坐等营业为深入企业一线设点跟踪效劳,自动为企业提供国家金融政策、金融形势、贷款程序、金融产品等方面的信息咨询效劳,起劲资助企业举行经济剖析、市场展望,加入企业重点项目论证。对市场远景好、投资回报率高的项目建设,起劲为企业提供信贷支持,同时加大对优质客户的信贷支持力度,对企业有用的资金需求要自动资助解决,建设一支稳固的信贷客户群,实现营业的一直生长。三是要逐步富厚金融产品。现在,我行支持中小企业的信贷产品主要有:企业联保贷款、典质贷款、信用贷款、银行承兑汇票等。下一步,我们将马上开通“网上银行”营业,为客户提供越发便捷的结算渠道,进一步利便企业的财务治理。别的,我行还将尽快推出创业卡营业,这是一种专门为小微企业量身定制的新产品,创业卡主要面向优质个体工商户和小企业谋划主等中高端小我私家客户,具有通俗借记卡结算和小我私家循环贷款两大功效,授信额度在30万元至100万元之间,持卡人在获得授信后,就可以通过网点柜面、网上银行和自助装备等办理贷款、还款营业。同时,它具有“一次授信、循环使用、自助放款、担保无邪”的优势,关于正准备创业或处于事业成恒久的客户来说,它能够最大限度地知足小微企业实时无邪、利便快捷的信贷效劳需求。四是要打造一家科技支行。我行将在效劳好“三农”的基础上,有重点的支持开发区的工业生长,今年,我行拟将在南城开发区设立科技支行,这也是全省第二家的科技支行,专注效劳园区内的科技型中小企业。现在,我行已与市科技局举行了充分的对接,告竣了起源相助意向,由市科技局牵头组建科技担保公司,通过科技财务的指导作用,与我行信贷资金捆绑配合来帮助首创型、生长型、科技型的中小企业,关于市政府认定的市级以上的科技型企业,我们将凭证基准利率来提供信贷支持,资助企业做大做强,增进园区工业经济的生长。
,两个猛男脱裤子摸jiji秘,白嫩极品教师自慰,色黄乱婬伦的网站。【复旦科创投资基金启动 聚焦科技前沿打造创新“核爆点”】
责编:古新世
审核:徐悦
责编:孙耀威
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1