(8分钟快速说明)日韩在线视频观看免费网址苹果版v36.42.76.53.14.53-2265安卓网

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

Meta AI研究团队推出Saber:无需特殊训练数据的视频天生新突破

2026-01-12 23:50:23
泉源:

猫眼影戏

作者:

夏暑

手机审查

  猫眼影戏记者 黄琳 报道Q8X2R7L1T4J5M9B6W3

这项由Meta AI研究团队与伦敦国王学院联合完成的研究于2024年12月揭晓 ,研究编号为arXiv:2512.06905v1。感兴趣的读者可以通过该编号在学术数据库中盘问完整论文。

研究团队面临的问题着实很容易明确。当你想要制作一段视频 ,好比让梵高泛起在咖啡馆里喝咖啡 ,或者让《戴珍珠耳环的少女》这幅名画中的女孩在窗前变换姿势 ,现有的手艺需要大宗特殊准备的训练质料。这些质料必需包括参考图像、对应视频和文字形貌三者的完善组合 ,就像需要同时拥有食谱、制作历程视频和制品照片才华学会做菜一样。

问题在于 ,制作这样的训练质料本钱极高 ,就像要为每道菜都准备完整的教学套餐一样难题。研究团队发明 ,现有要领需要构建包括参考图像-视频-文本三元组的专门数据集 ,这个历程涉及重大的数据网络、标注、聚类和筛选流程 ,不但腾贵并且难以大规模扩展。

Meta AI的研究团队提出了一个巧妙的解决计划 ,他们开发了名为Saber的框架。这个系统的焦点头脑是通过一种"遮罩训练战略"来模拟参考图像到视频的天生历程。就像学习绘画时 ,先生不需要专门准备每一种参考照片 ,而是随机遮挡一幅完整画作的某些部分 ,让学生凭证可见部分推测和重现整幅作品。

Saber在训练历程中会随机选择视频中的某些帧 ,然后用种种形状的遮罩部分笼罩这些帧 ,将被遮罩的区域作为"参考图像"。这种要领让模子学会了怎样从部分信息中提取身份特征和外观特征 ,然后将这些特征融入到天生的视频中。研究团队设计了多种遮罩形状 ,包括椭圆、傅里叶黑点、凸多边形和凹多边形等 ,确保训练的多样性。

为了阻止常见的"复制粘贴"问题 ,研究团队还引入了遮罩增强手艺。这就像在制作拼图时 ,不是简朴地把原片断直接放回原位 ,而是对片断举行旋转、缩放、翻转等变换后再安排。这样可以让天生的视频越发自然 ,阻止泛起生硬的拼接痕迹。

在模子设计方面 ,Saber接纳了一种巧妙的注重力机制。系统将参考图像和目的视频帧在特征空间中毗连 ,通过自注重力机制让视频部分和参考部分相互交互 ,同时通过交织注重力机制连系文本提醒的语义指导。这种设计确保了参考图像的身份信息能够准确转达到天生的视频中 ,同时坚持与文本形貌的一致性。

研究团队在OpenS2V-Eval基准测试上举行了周全评估。这个测试包括180个提醒 ,涵盖简单参考和多重参考等七个种别。效果显示 ,Saber在总体评分上抵达了57.91% ,凌驾了需要专门训练数据的要领。特殊是在NexusScore这个最能反应参考到视频性能的指标上 ,Saber取得了47.22%的效果 ,比其他要领横跨显著幅度。

值得注重的是 ,Saber展现出了优异的泛化能力。它不但能处置惩罚差别数目的参考图像 ,还能凭证遮罩比例的调解来顺应远景主体或配景场景的差别需求。当需要坚持远景角色时 ,系统使用较小的遮罩比例 ,而需要坚持配景情形时 ,则使用较大的遮罩比例。

研究团队还发明了Saber的一些有趣能力。好比 ,当提供统一个主体的多个视角作为参考时 ,系统能够准确识别这些图像形貌的是统一个工具 ,并将多视角的外观特征融合到一个连贯的视频主体中。别的 ,通过改变文本形貌中的主体信息 ,好比将"穿蓝色衬衫的男子"改为"穿玄色背心的男子" ,Saber能够准确地调解天生视频中对应主体的外观。

在现实应用中 ,Saber的推理历程相当直观。关于每个参考图像 ,系统首先使用预训练的物体支解器提取远景主体区域遮罩。若是用户希望参考图像提供配景场景而非远景主体 ,则跳过支解办法 ,使用完整的未遮罩图像。然后 ,系统将参考图像标准化并对被遮罩的配景区域填充零值 ,最后通过调解巨细和填充操作处置惩罚到目的视频尺寸。

研究团队举行了详细的消融研究来验证各个组件的主要性。他们发明 ,相比于在专门的参考到视频数据集上训练 ,遮罩训练战略能够提升1.67%的总体评分。简单类型遮罩的体现显着不如多种类型遮罩的组合 ,说明遮罩多样性关于泛化能力至关主要。牢靠远景面积比例会导致6.18%的性能下降 ,证实遮罩转变的主要性。

遮罩增强手艺的效果也很显着。在没有增强的情形下 ,模子会泛起严重的复制粘贴伪影 ,直接将参考内容原样安排到天生视频中。而应用了旋转、缩放、翻转和剪切等增强后 ,天生的视频显得越发自然和连贯。

注重力遮罩机制同样要害。若是移除注重力遮罩 ,模子在提取参考图像主体时会泛起显着的灰色伪影 ,无法准确疏散主体和配景。而使用注重力遮罩后 ,这些问题获得了有用解决 ,天生的视频质量显著提升。

与现有要领相比 ,Saber在多个场景中都展现出了优势。在简单人物参科场景中 ,竞争要领要么无法将参考主体嵌入天生视频 ,要么保存复制粘贴问题 ,而Saber能够天生一致且切合文本形貌的面部身份。在简单物体参科场景中 ,Saber准确捕获了物体的形状和外观特征。在多重参科场景中 ,Saber能够同时整合多个主体 ,而其他要领往往只能处置惩罚其中一个或泛起身份重复。

这项研究的意义在于为参考到视频天生开发了新的生长路径。通过消除对腾贵专门数据集的依赖 ,Saber使得这项手艺能够使用大规模的视频-文本数据举行训练 ,这为未来的规;さ于嘶。同时 ,Saber的零样本特征意味着它能够处置惩罚训练中未见过的主体种别 ,具有更强的适用性。

虽然 ,这项手艺也保存一定的局限性。当参考图像数目显著增添时 ,好比抵达12张 ,天生可能会泛起剖析征象 ,导致片断化的组合而缺乏连贯明确。别的 ,在重大提醒下的细腻运动控制和时间一致性仍然是挑战。

说究竟 ,Saber代表了视频天外行艺生长的一个主要里程碑。它证实晰通过巧妙的训练战略设计 ,可以在不增添数据网络本钱的情形下实现高质量的参考到视频天生。这种要领不但在手艺上具有立异性 ,在现实应用中也更具可行性 ,为个性化视频天生、定制化故事讲述和虚拟化身等应用场景提供了新的可能性。

Q&A

Q1:Saber是什么样的手艺?

A:Saber是Meta AI开发的一种新型视频天外行艺 ,它能够凭证参考图像和文字形貌天生坚持角色身份的视频。与古板要领差别 ,Saber不需要专门的训练数据集 ,而是通过"遮罩训练"战略来学习怎样从部分信息中提取特征并天生完整视频。

Q2:遮罩训练战略是怎样事情的?

A:遮罩训练就像让AI学习拼图游戏一样。系统随机选择视频中的某些帧 ,用种种形状的遮罩笼罩部分区域 ,然后学习怎样凭证可见部分推测和重现整个视频。这种要领让模子学会从参考图像中提取身份特征 ,并将这些特征自然地融入到新天生的视频中。

Q3:Saber相比其他视频天生要领有什么优势?

A:Saber最大的优势是不需要腾贵的专门训练数据 ,却能在测试中逾越那些需要专门数据的要领。它还能无邪处置惩罚差别数目的参考图像 ,支持多主体和多视角输入 ,并且能够凭证文字形貌准确调解天生内容 ,阻止了常见的复制粘贴问题。

??时势1:真人在线A片免费播放

??01月12日,何以中国丨从孔孟出发,当AI遇见齐风鲁韵,

  同砚们 ,生命不打底稿 ,人生没有彩排 ,人生总是在一直地逾越自己 ,生命总是在拼搏中熠熠闪光 ,深夜的孤军奋战 ,夏日的涔涔汗水 ,怙恃的声声吩咐 ,先生的殷切期盼 ,都将化作无限的动力 ,鞭策你的前行 ,勉励你乐成。最后希望同砚们明确目的 ,全力以赴 ,不骄不躁 ,冷静冷静。全身心投入到温习备考当中 ,以最佳的心理状态和高昂的斗志去迎接学考。希望各人在最后的30天里 ,自信拼搏 ,挑战自我 ,科学备考 ,铸就绚烂。30天可以改变一切 ,30天可以创立事业。祝愿各人顺遂通过学考 ,乐成属于你们。

,亚洲国产迷奸最新。

??01月12日,陈卫国代表——构建智能建造产业集群,

  (二)城镇化是转型生长的动力所在。刷新开放三十年以来 ,我国经济生长取得了重大成绩 ,主要靠两样工具。第一 ,靠体制释放的能量。已往机制体制不对理 ,严重约束了劳动生产力。从包产到户最先用了五年时间 ,我们就从欠缺经济完全实现了粮食自给自足。这就是体制释放的重大动力和能量。第二 ,靠廉价的劳动力支持工业生长。中国重大的生齿既为工业生长提供了富足的劳动力 ,并且使工业生长的本钱大幅度低于国际市场 ,形成了显着的较量优势 ,刷新开放30年来经济的活力与此亲近相关。那么 ,下一步靠什么来生长?毫无疑问 ,都会化是最大的动力所在。我一经算过一笔账 ,张掖凭证38%的城镇化率盘算 ,全市城镇生齿有50万 ,但现在全市有户籍的城镇生齿只有34万。若是到20xx年我们抵达天下的平均水平 ,也就是60% ,那么我们就应当有78万人栖身在都会 ,也就是说我们以后还要有28万生齿进城生涯 ,加上流感生齿可能在35万左右。若是按现行的标准 ,按人均40平方米的住房面积盘算 ,全市需要再盖1400万平方米的屋子 ,按1平方米综合产值1万元算 ,就是1400亿 ,这就是未来十年我们的城镇化产值。城镇化拉动经济生长的效应是综合的。凭证专家评估 ,修建质料涉及50多个工业行业 ,钢材的25%、木料的40%、玻璃的70%、水泥的70%、塑料制品的25% ,都是靠房地产拉动的。同时 ,房地产还占了整个交通运输量的8%。我们已往城镇化水平低 ,意味着增添的空间大。这恰恰又是我们的优势所在。只要我们捉住这样一个有利时机 ,在理念上、妄想上、建设时序的掌握上做到科学有序 ,就完全有可能通过城镇化建设来推动张掖经济社会的历史性转型。

,男人女人一起床啦差差差很痛,国产一级AV无码免费久A片,91幼女 幼女 幼女。

??时势2:2022最新黄色网站大全

??01月12日,我国海洋灾害和海平面公报发布,

  另一边 ,赤红的鸟雀也与那头重大的凶兽在酣战 ,舍生忘死 ,火光与巨爪碰撞 ,铿锵作响 ,道音隆隆 ,天地共识。

,日韩亚洲性爱A片,欧美操逼日本a操逼,美女直播被日爽了高清。

??01月12日,云南保山:“五治”融合 绘就法治乡村新蓝图,

信用卡逾期几天内没影响 在当今社 ,信用卡已经成为人们生涯中可或缺的支付工具之一。随着科技的快速生长 ,信用卡的使越来越普遍 ,可是随之而来的问题也可阻止 ,其中一项就是信用卡逾期。逾期虽然是一个常见的问题 ,可是逾期几天内并不会信用纪录爆发影响。本文将针对信用卡逾期几天内没有影响这一话题睁开...

,裸阴无码护士,姬小满去掉所有布料,国产性色aywwww。

??时势3:黄色A片污污污

??01月12日,内蒙古草原备足饲草料 助牲畜安度“春乏关”,

  一群大人玩笑 ,开着玩笑 ,告诉小不点 ,未来强盛后别忘了石村 ,捉一头真正的远古凶兽幼崽回来 ,镇守这里。

,视频一区在线播放,另类欧美性交,性交动态图在线观看。

??01月12日,提效能降风险 广东电力市场开展多月集中竞争交易,

  谢谢之余 ,作为家长我们能做的就是多挤出一些时间给孩子 ,相信凯杰小学幼儿园的教育理念 ,起劲和学校、先生相同 ,支持、配合学校和先生配合解决好孩子生长历程中遇到的问题 ,让让我们的孩子在幼儿园里能康健、快乐地生长。也希望列位家长和我一起体贴学校的生长 ,增进对先生的明确 ,在以后的日子里施展你的智慧才智为学校提出更多更好的合理化建议 ,也祝愿凯杰小学越办越好 ,成为衡阳人心中理想的小学。

,老熟女激情自拍视频,一级A美女裸体艺术视频,男人喝女尿秘 免费看。

??时势4:国产视频精品久久

??01月12日,医生化身“蜘蛛侠”徒手攀爬50米塔吊救人,

  我们这次培训班虽然时间不长 ,但我以为通过培训 ,我们的大大都同志一定会获得以下几个方面的收获:

,抠逼A片,www久久久久久久久久久久久久久久,国产一级毛片又粗又黄又硬下载。

??01月12日,德国小学生在柏林中国文化中心体验春节文化,

  小不点则是一言不发 ,盯着那头重大的身影。那是一头凶兽 ,体表有符文闪灼 ,被一群人围绕 ,竟备受尊崇。他以为 ,那很像是一头祭灵。

,欧美级婬片A片免费播放口r老头,www.99re009.com,免费进入看黄在线视频。

【和合诸味 一碗广西米粉如何交融多元饮食文化?】

【倪永杰:岛内不满民进党的声音不会削弱 大陆应保持战略定力】

责编:何芳梅

审核:王靖

责编:耿强严

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图