九九热这里只有精品94,为用户提供稳定、流畅的体验,让娱乐与效率兼得

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

Meta AI研究团队推出Saber:无需特殊训练数据的视频天生新突破

2026-01-12 13:44:56
泉源:

猫眼影戏

作者:

刘备

手机审查

  猫眼影戏记者 车拥军 报道Q8X2R7L1T4J5M9B6W3

这项由Meta AI研究团队与伦敦国王学院联合完成的研究于2024年12月揭晓,研究编号为arXiv:2512.06905v1  。感兴趣的读者可以通过该编号在学术数据库中盘问完整论文  。

研究团队面临的问题着实很容易明确  。当你想要制作一段视频,好比让梵高泛起在咖啡馆里喝咖啡,或者让《戴珍珠耳环的少女》这幅名画中的女孩在窗前变换姿势,现有的手艺需要大宗特殊准备的训练质料  。这些质料必需包括参考图像、对应视频和文字形貌三者的完善组合,就像需要同时拥有食谱、制作历程视频和制品照片才华学会做菜一样  。

问题在于,制作这样的训练质料本钱极高,就像要为每道菜都准备完整的教学套餐一样难题  。研究团队发明,现有要领需要构建包括参考图像-视频-文本三元组的专门数据集,这个历程涉及重大的数据网络、标注、聚类和筛选流程,不但腾贵并且难以大规模扩展  。

Meta AI的研究团队提出了一个巧妙的解决计划,他们开发了名为Saber的框架  。这个系统的焦点头脑是通过一种"遮罩训练战略"来模拟参考图像到视频的天生历程  。就像学习绘画时,先生不需要专门准备每一种参考照片,而是随机遮挡一幅完整画作的某些部分,让学生凭证可见部分推测和重现整幅作品  。

Saber在训练历程中会随机选择视频中的某些帧,然后用种种形状的遮罩部分笼罩这些帧,将被遮罩的区域作为"参考图像"  。这种要领让模子学会了怎样从部分信息中提取身份特征和外观特征,然后将这些特征融入到天生的视频中  。研究团队设计了多种遮罩形状,包括椭圆、傅里叶黑点、凸多边形和凹多边形等,确保训练的多样性  。

为了阻止常见的"复制粘贴"问题,研究团队还引入了遮罩增强手艺  。这就像在制作拼图时,不是简朴地把原片断直接放回原位,而是对片断举行旋转、缩放、翻转等变换后再安排  。这样可以让天生的视频越发自然,阻止泛起生硬的拼接痕迹  。

在模子设计方面,Saber接纳了一种巧妙的注重力机制  。系统将参考图像和目的视频帧在特征空间中毗连,通过自注重力机制让视频部分和参考部分相互交互,同时通过交织注重力机制连系文本提醒的语义指导  。这种设计确保了参考图像的身份信息能够准确转达到天生的视频中,同时坚持与文本形貌的一致性  。

研究团队在OpenS2V-Eval基准测试上举行了周全评估  。这个测试包括180个提醒,涵盖简单参考和多重参考等七个种别  。效果显示,Saber在总体评分上抵达了57.91%,凌驾了需要专门训练数据的要领  。特殊是在NexusScore这个最能反应参考到视频性能的指标上,Saber取得了47.22%的效果,比其他要领横跨显著幅度  。

值得注重的是,Saber展现出了优异的泛化能力  。它不但能处置惩罚差别数目的参考图像,还能凭证遮罩比例的调解来顺应远景主体或配景场景的差别需求  。当需要坚持远景角色时,系统使用较小的遮罩比例,而需要坚持配景情形时,则使用较大的遮罩比例  。

研究团队还发明了Saber的一些有趣能力  。好比,当提供统一个主体的多个视角作为参考时,系统能够准确识别这些图像形貌的是统一个工具,并将多视角的外观特征融合到一个连贯的视频主体中  。别的,通过改变文本形貌中的主体信息,好比将"穿蓝色衬衫的男子"改为"穿玄色背心的男子",Saber能够准确地调解天生视频中对应主体的外观  。

在现实应用中,Saber的推理历程相当直观  。关于每个参考图像,系统首先使用预训练的物体支解器提取远景主体区域遮罩  。若是用户希望参考图像提供配景场景而非远景主体,则跳过支解办法,使用完整的未遮罩图像  。然后,系统将参考图像标准化并对被遮罩的配景区域填充零值,最后通过调解巨细和填充操作处置惩罚到目的视频尺寸  。

研究团队举行了详细的消融研究来验证各个组件的主要性  。他们发明,相比于在专门的参考到视频数据集上训练,遮罩训练战略能够提升1.67%的总体评分  。简单类型遮罩的体现显着不如多种类型遮罩的组合,说明遮罩多样性关于泛化能力至关主要  。牢靠远景面积比例会导致6.18%的性能下降,证实遮罩转变的主要性  。

遮罩增强手艺的效果也很显着  。在没有增强的情形下,模子会泛起严重的复制粘贴伪影,直接将参考内容原样安排到天生视频中  。而应用了旋转、缩放、翻转和剪切等增强后,天生的视频显得越发自然和连贯  。

注重力遮罩机制同样要害  。若是移除注重力遮罩,模子在提取参考图像主体时会泛起显着的灰色伪影,无法准确疏散主体和配景  。而使用注重力遮罩后,这些问题获得了有用解决,天生的视频质量显著提升  。

与现有要领相比,Saber在多个场景中都展现出了优势  。在简单人物参科场景中,竞争要领要么无法将参考主体嵌入天生视频,要么保存复制粘贴问题,而Saber能够天生一致且切合文本形貌的面部身份  。在简单物体参科场景中,Saber准确捕获了物体的形状和外观特征  。在多重参科场景中,Saber能够同时整合多个主体,而其他要领往往只能处置惩罚其中一个或泛起身份重复  。

这项研究的意义在于为参考到视频天生开发了新的生长路径  。通过消除对腾贵专门数据集的依赖,Saber使得这项手艺能够使用大规模的视频-文本数据举行训练,这为未来的规 ;さ于嘶  。同时,Saber的零样本特征意味着它能够处置惩罚训练中未见过的主体种别,具有更强的适用性  。

虽然,这项手艺也保存一定的局限性  。当参考图像数目显著增添时,好比抵达12张,天生可能会泛起剖析征象,导致片断化的组合而缺乏连贯明确  。别的,在重大提醒下的细腻运动控制和时间一致性仍然是挑战  。

说究竟,Saber代表了视频天外行艺生长的一个主要里程碑  。它证实晰通过巧妙的训练战略设计,可以在不增添数据网络本钱的情形下实现高质量的参考到视频天生  。这种要领不但在手艺上具有立异性,在现实应用中也更具可行性,为个性化视频天生、定制化故事讲述和虚拟化身等应用场景提供了新的可能性  。

Q&A

Q1:Saber是什么样的手艺?

A:Saber是Meta AI开发的一种新型视频天外行艺,它能够凭证参考图像和文字形貌天生坚持角色身份的视频  。与古板要领差别,Saber不需要专门的训练数据集,而是通过"遮罩训练"战略来学习怎样从部分信息中提取特征并天生完整视频  。

Q2:遮罩训练战略是怎样事情的?

A:遮罩训练就像让AI学习拼图游戏一样  。系统随机选择视频中的某些帧,用种种形状的遮罩笼罩部分区域,然后学习怎样凭证可见部分推测和重现整个视频  。这种要领让模子学会从参考图像中提取身份特征,并将这些特征自然地融入到新天生的视频中  。

Q3:Saber相比其他视频天生要领有什么优势?

A:Saber最大的优势是不需要腾贵的专门训练数据,却能在测试中逾越那些需要专门数据的要领  。它还能无邪处置惩罚差别数目的参考图像,支持多主体和多视角输入,并且能够凭证文字形貌准确调解天生内容,阻止了常见的复制粘贴问题  。

??时势1:18may19_XXXXXL56edui

??01月12日,中国驻巴拿马使馆发布申请办理中国护照、旅行证须知,

小学捐助活动的校长讲话 篇1

,一片一级  。

??01月12日,外资加码布局中国市场,

  二、抓治理中追求纪律,抓落实中推行职责,抓教学通例中提升质量,求真务实、开拓立异,再创永兴小学教育新时势  。

,免费看视频黄色,娇妻之绿帽癖1~17,又粗又爽又黄的吃奶视频  。

??时势2:huangse网站欧美日韩

??01月12日,当外交遇上书香 | 以书为媒,看总书记欧洲之行,

  同志们,伟大的时代令人心奋﹑神圣的使命催人奋进,让我们携手共进,认清教育体制刷新的新形势,统一头脑,明确目的,抢抓机缘,顺势而谋,求真务实,开拓立异,充分调动和施展好西席教书育人的自动性﹑起劲性和创立性,为再创永兴小学教育新时势而起劲斗争!

,南山兵1609图片清晰,肏熟女屄,久久婷丁香五月激情综合  。

??01月12日,微观察 | 坚定自信,使这条路越走越宽广,

  小不点宝相庄重,一声轻喝,施展宝术,一轮重大的银月泛起在其背后,直径能有一丈,将那里映照的一片绚烂,宛若一片璀璨神环,将他护在中央  。

,色很久综合,日韩精品A级,超碰在线乱  。

??时势3:亚洲专区醉酒

??01月12日,上海市政协十四届二次会议开幕,

  高中时期是人生走向成熟、走向自力的阶段  。在这一阶段,你会发明自己已不再像初中时那样动荡、不稳固,生长转变那样显着;自己不再同流合污,对问题会有自力的看法、看法;高中意味着青春洋溢,意味着生气蓬勃、意味着无忧无虑  。它使得几多作家为之赞美!为之倾倒!它又引起几多人优美的回忆!然而,这个鲜花开放的季节并非总是阳灼烁媚,也许不知哪边飘来的乌云会悄悄笼罩你心灵的天空;于是伴着霏霏细雨,郁闷和懊恼油然而生  。刚最先的日子,脱离了相伴多年的同砚和先生,脱离了怙恃乡亲,看到的是全新的面目,你也许会有一些失踪和主要;刚刚熟悉了新的情形,学习上的不顺应又可能使你感应沮丧;比及一切纳入正轨,没准儿和先生、同砚的来往中又泛起了新的问题;对自己的熟悉也有些疑心和疑问  。另外,你会盼愿和怙恃之间的关系是一律的、朋侪式的,但怙恃却总把你当成小孩子;当你最先对社会上的一些事情有奇异的看法,先生和家长却说你的看法片面、偏激、不可熟……总之,进入高中后学生一时不顺应新的情形  。着实这是正常征象,和初中相比,高中不但仅是校园大了,人际情形和社会化的使命也比以前重大了,并且要学的工具更深更难了  。各人从小积累起来的那点人生履历,一时应付不了新的情境,于是就泛起了不顺应  。这种不顺应,可以看作是人生旅途中一次小小的 ;  。但“ ;笔怯伞拔O铡焙汀笆被绷礁龃首槌傻  。若是不是逃避矛盾,而是起劲增添一些新的知识和手艺,从不顺应变为顺应,就能为以后步入高 ;蛏缁嵊Ω对椒⒅卮蟮纳缁崆樾位勐睦  。你一定要知道,你是一个生长中的强有力的人,你的身上有无限的潜力,期待着你去开发;你的大脑中有无限的智慧,期待着你去挖掘  。只要不丢掉自信,你会微笑着穿过生长中的风风雨雨  。

,米塔被 到爽 流漫画,国产御姐自慰,freesextv  。

??01月12日,浙江象山统一战线成员爱心接力30小时 卖完3000箱柑橘,

  两者强烈交锋,那重大的凶禽铺天盖地,周身缭绕着浓重的黑雾,看不清本体,相隔很远,只能见到血红的眸子,重大无比,像是两轮血月挂在天穹上  。

,日本黄肉网站在线观看,欧美天天三级片,超碰在线免费视屏  。

??时势4:538精彩视频在线

??01月12日,习语品读|“金融监管要‘长牙带刺’、有棱有角”,

  2、增进房地产市场一连康健生长,有利于加速城镇化历程  。加速城镇化历程、全方位谋划都会、深入推进"三个转变",是我省贯彻落实党的xx大和xx届三中全会精神、周全建设小康社会的主要战略和必由之路  。房地产市场的一连康健生长,能够为加速城镇化提供必需的住房等生涯要素和商业、办公、工业用房等生产要素  。房地工业既是支持谋划都会的工业之一,也是推进土地资源向土地资源转变、民间资金向民间资源转变的一个主要载体和生力军  。据统计,去年全省房地产开发谋划购置土地面积为20xx万平方米,约占全省谋划性用地供应总面积的60%,购置土地用度达86亿元,同比增添35.3%,是推动土地资源向土地资源转变的一个市场主体  。同期,我省房地产开发企业注册资笔菩,约73%为民营资源,总额达278亿元,非公有制房地产开发企业完成投资399亿元,占全省房地产开发完成投资总额的89%,有力地推动了民间资金向民间资源转变  。增进房地产市场一连康健生长,将使房地工业在加速城镇化、实验谋划都会战略、深入推进"三个转变"中进一步施展主要作用  。

,A片免费观看网站,日本啪啪啪免费试看视频,又色又爽又的视频  。

??01月12日,报告指东盟依然是中国企业拓展海外业务首选地,

  她真的很美,世间间难堪一见,其他尤物站在其眼前,会连忙黯然失色,宛若一尊真正的仙子降临人世  。

?第二百四十三章 醒悟,A片免费爱爱爱网站,鲁大师在线高清在线观看免费,白袜高中生被强制榨精  。

责编:江芸涵

审核:许生金

责编:苏巴什

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图