国产视頻在,为用户提供稳定、流畅的体验,让娱乐与效率兼得

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

F1暴涨20分,推理速率恒定!新架构VGent:多目的定位又快又准

2026-01-06 14:30:27
泉源:

猫眼影戏

作者:

肖特

手机审查

  猫眼影戏记者 娄·帕 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:LRST

【新智元导读】多目的(Multi-target) 以及 视觉参照(Visual Reference) 为视觉定位(Visual Grounding)使命的推理速率和性能同时带来了全新的挑战 。 为相识决这一难题,来自UIC和Adobe的研究团队提出了VGent模子 。这是一种兼顾速率与性能的?榛杓,旨在将模子的推理与展望能力解耦,并辅以多种?榛銮考苹  。最终,VGent依附不到16B的参数目,在多目的及带视觉参照的视觉定位基准(Omnimodal Referring Expression Segmentation, ORES)上,大幅逾越了Qwen3-VL-30B,实现了平均+18.24 F1的重大提升!

在多模态大模子(MLLM)时代,视觉定位是MLLM细粒度推理能力的主要一环,同时也是实现人机交互和具身智能的焦点能力 。

现有的解决计划主要分为两类:

原生Token派(Native-token):像 Qwen2.5-VL 或 Ferret-v2 这样的模子,通过自回归(auto-regressive)的方法使用原有的词表逐个天生界线框坐标  。这种方法不但速率慢(推理时间随目的数目线性增添),并且在多目的场景下容易爆发幻觉(Hallucinations),即模子可能会在枚举完所有目的工具之前就过早阻止,或者在目的麋集的场景中陷入无限天生的死循环 。如图一所示,随着目的数目的增添,这类要领在多目的场景下的低效和不稳固性变得尤为显着 。

新增Token派(New-token):另一类要领实验通过引入特殊的token(如[SEG]或 object token)来指代目的物 。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM 。因此,这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力 。更严重的是,其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM(如 QwenVL系列) 。

来自UIC(伊利诺伊大学芝加哥分校) 和Adobe的研究团队提出一种?榛谋嗦肫-解码器(Encoder-Decoder)架构VGent,其焦点头脑是:将高层的语义推理交给MLLM,将底层的像素展望交给目的检测器(detector),最终通过hidden state将这种解耦后的关系举行毗连 。

论文地点:https://arxiv.org/abs/2512.11099

研究职员以为,语义推理和精准定位是两种截然差别的能力,强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望,会导致性能和效率上的权衡 。

更切合直觉的方法,应该是由差别的组件做各自善于的事 。

基于这一洞察,VGent提出了一种?榛谋嗦肫-解码器设计,使用现成的MLLM和detector将高层多模态推理与底层展望解耦 。

其焦点理念在于MLLM和detector的优势是互补的:MLLM善于多模态语义对齐和推理,而detector则善于高效地提供精准的多目的检测框 。

图一:VGent(蓝色)与现有先进的MLLM(Qwen2.5-VL,灰色)在多目的视觉定位使命上的比照 。左图显示VGent的推理时间恒定且迅速,而 MLLM 随目的数目增添呈线性增添;右图显示VGent在F1分数上实现了显著提升,特殊是在多目的场景下 。

要领

基础架构

VGent主要由图二所示的encoder和decoder两部分组成,并引入了三种?榛銮炕疲ㄍ既⑺暮臀澹 。

图二:VGent框架概览

如图二所示,左侧encoder是一个 MLLM,使用QuadThinker来提升其多目的推理能力 。冻结的encoder输出hidden states并存储下来给到decoder 。右侧decoder初始化自encoder的LLM 层,其将detector天生的object proposal作为query,通过cross-attention与encoder的hidden states交互 。

研究职员在decoder内部新增了self-attention层(参数初始化自统一层的cross-attention),用于增进query之间的信息交流 。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的 。响应的segmentation mask则通过 prompt SAM 获得 。

QuadThinker:强化多目的推理能力

针对MLLM在多目的场景下推理能力下降的问题,研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker,通过设计特定的prompt和reward functions,指导模子执行区域到全局、分步推理的历程:先划分统计图像四个象限内的目的数目,再汇总总数,最后展望详细坐标 。

图三:QuadThinker所使用的prompt 。

Mask-aware Label:解决检测与支解的歧义

在多目的场景中,检测(Box)与支解(Mask)使命的界说保存一定的差别 。检测通常优化「一对一」的匹配,而支解则旨在召回所有远景像素 。

图四:Mask-aware Label示意图 ;贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件 。

这种差别导致了标注歧义:例如图四(左)中,检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框 。

在检测使命的 IoU 标准下,由于挂绳的框较量小、相关于整体真值框的重叠率过低,往往会被看成负样本在标注阶段被过滤掉(被标上负标签) 。可是关于支解使命来说,这个挂绳属于远景,其应该被标上正标签 。

为此,VGent引入了Mask-aware Label,使用IoA (Intersection-over-Area) 指标举行特另外标签分派 。如图四(右),IoA通过盘算候选mask (通过proposal prompt SAM获得)与多目的真值的union mask的交集,并除以候选mask自身的面积获得 。

由于IoA的分母是候选mask自身面积,该机制能精准召回那些虽然只笼罩了部分目的群(如细小的挂绳)但依然有用的 proposal 。模子使用另一个自力的MLP head专门展望这种支解导向的标签,用于解决视觉定位中支解类型的输出 。

Global Target Recognition:增强全局感知

为了提升候选框选择的准确性,VGent 引入了Global Target Recognition? 。

图五:Global Target Recognition示意图 。使用Learnable Queries注入全局目的数目信息,并聚合多个detector的效果以提升召回率 。

为了提高召回率,研究职员聚合了来自多个detector的proposal形成一个统一的query set,之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入 。

这组query被专门训练用于展望目的的总数以及正样本proposal的数目 。通过decoder层内的self-attention机制,这些包括全局统计信息的learnable query能够与proposal query举行交互,将「全局线索」撒播给每一个候选框,从而增强其对目的群体的整体明确,实现更精准的选择 。

实验效果

研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估 。

多目的视觉定位(Multi-target Visual Grounding)

图六:在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照 。ORES是多目的以及保存视觉参照(w/ < mask-ref >)的视觉定位基准 。

如图六所示,在极具挑战的ORES基准上,VGent 取得了全新的SOTA效果 。相比之前的最佳要领RAS13B,VGent在F1分数上实现了+20.58%的重大提升 。VGent在gIoU和cIoU上都带来了显着的提升 。

值得注重的是,纵然比照参数目更大的Qwen3-VL-30B,VGent 依然坚持显著优势 。同时,得益于?榛杓,VGent 在目的数目增添时坚持恒定且快速的推理速率,阻止了自回归模子随目的增添而线性增添的推理延迟(如图一所示) 。

单目的视觉定位(Single-target Visual Grounding)

图七:在referring expression comprehension (REC) 上的性能比照 。

VGent在古板单目的基准(RefCOCO, RefCOCO+, RefCOCOg)上也体现卓越 。

VGent实现了90.1%的平均准确率,逾越了InternVL3.5-20B和38B等更大规模的模子  。相比其backbone (Qwen2.5-VL-7B),VGent带来了+3.5%的平均性能提升 。

可视化

图八:VGent在差别挑战下的展望效果可视化 。

VGent在重大场景中展现了极强的鲁棒性 。

如图八(上)所示,VGent精准定位所有方形钟表,纵然保存大宗相似的钟表作为滋扰项,展现了VGent在麋集多目的场景下的优越体现 。

图八(下)中,VGent 乐成定位了视觉参照(蓝色 mask),并继续推断出左侧穿裙子的女士,扫除了右侧的滋扰项 。

参考资料:

https://arxiv.org/abs/2512.11099

秒追ASI

?点赞、转发、在看一键三连?

点亮星标,锁定新智元极速推送!

??时势1:美国黄色网

??01月06日,成都:“世运蓉港行”主题列车发车 共迎世运会倒计时一周年,

  潮落潮起,花谢花开,继往开来,继往开来 。高二的学弟学妹们,你们准备好了吗?已往的一年,你们在学业上取得了绚烂的效果,大红榜上还贴着你们自满的讯息,现在,我们接过了高考的接力棒,而你们也将成为明天的栋梁 。不要再一味的陶醉于已往而志得意满,也不要一味地哀叹已往的虚度时光,须知:奋力攀缘,绝迎景物无限美;固步自封,前功尽弃徒伤心 。惜取现在的点点滴滴,惜取你珍贵的少年时,在书山上辛勤地跋涉,在学海中快乐的行舟 。衷心地祝愿你们,再接再厉,起劲拼搏,欲与天公试比高,一年更比一年好 。

,免费观看 。

??01月06日,南水北调中线引江补汉工程首台硬岩掘进机“江汉先锋号”掘进始发,  巴勒斯坦队、吉尔吉斯斯坦队与中国队同处第五档 。美联社12日称,巴勒斯坦队在巴以冲突的大配景下打进18强赛,为自己的国家送上令人振奋的好新闻 。巴勒斯坦队自2019年以来就没法拥有自己真正的主场,他们只能在科威特和卡塔尔举行主场角逐 。,羞羞网站,大力肏穴视频,亚洲a级黄片免费观看 。

??时势2:免费无遮挡 视频网

??01月06日,广州:房票可购买全市可售的新建商品房,

  开展好农村事情,除了要有较量强的政策理论水平、现实事情履历之外,还需要考究事情要领、完善事情制度,搞好小我私家品行修养,以身作则 。一要联系群众 。村干部不但是村级组织的认真人,更是一个村几百户群众确当家人 。因此不但要争取和上级党组织的支持,更离不开宽大群众的支持 。作为村干部,要善于同群众打成一片,串百家门,听百家言,解百家难,相识群众所体贴的热门、难点问题 。老黎民是最重情绪的,只要你多同他们拉拉家常,聊谈天,就能够拉近和群众的距离,群众就会把你当成知心人 。要争取群众的支持和信任,更主要的是要为老黎民办实事 。老黎民是最考究实惠的,他们选你们当村干部,就是希望你们能在任期内多办几件实事 。各人要在任期内办为老黎民办几件实事,解决几个影响老黎民生产、生涯的热门、难点问题,把钱用到刀刃上,让老黎民感受到村干部是让他们定心确当家人,从而赢得群众的信任和恋慕 。二要注重团结 。团结就是实力,团结出战斗力、出凝聚力,能团结人是最大的本事 。一个村若是干部不团结就是一盘散沙 。目今在个体农村有这样一种征象,就是台下整台上,台上整台下,弄得村里乌烟瘴气,群众意见很大 。在团结这个问题上,村干部特殊是村支部书记首先要负起责任来 。要有容人之量,要有宽阔的胸怀 。对那些对自己有看法、有意见的同志,要自动相同,消除矛盾,增进团结 。要有相助的心态 。主要就是村 “两委 ” 之间的相助,说究竟就是村干部之间增强相助的问题 。村 “ 两委 ” 虽然爆发的程序差别,法定职能差别,可是为村民当家谋福利的目的是一致的 。村支部书记要向导好村委会事情,就要自动做事情,要支持村委会的事情,不可过多的包办详细事务,更不可把村委会抛在一边,而要向导和监视好村委会开展事情,由村委会详细认真实验的事情,党支部不可两手一撒,冷眼旁观,而要施展好监视作用,多指导,多协助,多配合 。对在事情中爆发的矛盾和不同,要通过支部聚会、村民议事会等形式,普遍征求群众意见,把决议权交给群众,让群众当家作主,不可搞家长制,一言堂 。三要注重品行修养 。品行修养在干部素质中是第一位的 。作为村干部,要与人为善 。心存善念是做人的基础,做官一阵子,做人一辈子,要抱着对老黎民深挚的情绪开展事情,不害人、不坑人、不整人,要心里想着群众,行动向着群众,为群众办实事、办妥事 。要坚持平和的心态,苏醒地看待名利 。要忠实守信 。人无信不立,作为一名村干部更应该忠实守信 。只有你语言算数,为人正直,效劳公正,群众才华相信你,你在群众心中才会有位置,你语言才有招呼力 。若是把对群众的允许当成拉选票的口号,一旦坐稳了位置,就把当初的允许抛到脑后,置群众的利益而掉臂,那你这个位置是坐不稳的,群众是不会拥护你的 。要清廉自律 。 “ 公生明,廉生威 ” ,作为村干部,就必需清廉自律,克己奉公,要堂堂正正做人,清清白白做事,做到心中有正气,身上有节气,这样你语言才硬气,别人才华服你 。以是作为村干部,一定要洁身自好,注重小节,时时随处为人楷模,真正树立党在群众中的优异形象,赢得宽大和农民群众的信任 。四要办事公正 。农民群众的知足水平,是权衡农村事情的最高标准 。村干部是为农民效劳的, “ 官 ” 当得怎么样,讲话权在农民群众 。要当好村干部,必需公正正直 。在处置惩罚农村种种矛盾、协调种种利益关系时,一定要坚持从阵势出发,处以公心,公正正直,一碗水端平,不可凭小我私家好恶效劳,也不可偏亲厚友 。只有效劳公正,才华赢得群众的信任和拥护 。五要考究事情艺术 。在座的列位开展事人情临的不是亲戚就是朋侪,都是熟悉的人,这就要求我们思量好种种关系,顺好理,有一定的向导艺术 。学会弹钢琴,能够团结一班人形成一个战斗堡垒;还要各项事情走在前头,遇到难题带动上,难的事情自动干,不可相互推诿扯皮 。胸怀要宽阔、漂亮,做到容人、容事、容话,听得进一些同志的阻挡意见,能遭受种种误解、谴责和难题,团结同志,增强班子凝聚力,多为村民办实事、办妥事,赢得认可 。六要增强制度建设 。没有规则,不可周遭,不按制度效劳,不严酷效劳程序,就有可能盛意办不可好事 。这就要求我们必需建设健全各项制度,并严酷按制度效劳 。一是抓好各项制度的建设 。包括 “ 三会一课 ” 制度、学习制度、党支部和目的治理制度、民主评议制度、党组织议事规则等党内制度,以及村民议事会制度、村务果真制度等 。制订制度纷歧定越多越好,而是要轻盈易行,便于操作,有针对性 。二是抓好各项制度的落实 。有了制度,村干部要带动执行,并催促宽大遵守和执行各项制度,使制度真正地落到实处,阻止把制度当 “安排 ”  。三是抓好制度的完善 。制度不是一成稳固的,在执行历程中,要实时举行修改和完善,使制度越发完整,更切合农村现实 。

,91大黄鸭咖啡,欧美特级黑人不卡黄片一区,极品主播自扣爆浆入口 。

??01月06日,西安铁路局全力应对“五一”假期返程客流高峰,

  这皮孩子,老者愤愤 。早先小不点还向他讨教呢,但他懒得多语 。效果现在反回来了,自动向这憨孩子诠释什么是精璧,他居然爱答不睬了 。

,亚洲AV片不卡无码一国产精品,青草视 在线播放,亚洲激情婷婷五月天 。

??时势3:美女白丝露粉嫩小奶头

??01月06日,候鸟的旅行箱丨第四集:立夏,

  七年级新同砚步入中学,就是人生中的一个新起点,中学阶段是人生历程中十分要害的主要阶段,希望同砚们珍惜这最为珍贵的年华,在先生的指导下,严酷遵守学校规章制度,学会学习,学会做人,明确目的,珍惜时间,把在小学阶段养成的好作风、好纪律、好品质带到你们的学习和生涯中,为以后的生长涤讪扎实的基础 。

,高清美女0O,先锋影音在线a资源免费,偷拍偷窥视频 。

??01月06日,琼瑶走完“为爱而生、为爱而写”的一生,  2019年9月,国务院办公厅印发《关于增进全民健身和体育消耗推动体育工业高质量生长的意见》,其中提到推动体育赛事职业化,支持生长体育经纪人步队,挖掘体育明星市场价值 。2019年12月,国家体育总局宣布废止部分规范性文件的通知,《关于对国家队运发动商业活动试行条约治理的通知》等限制运发动商业活动的划定被废止 。曾文莉以为,即便云云,现在海内体育经济的价值尚有待充分释放 。她对已走上职业化蹊径多年的网球充满希望,以为网球市场可能是一个突破口 。,在线性爱网站,B,亚洲国产精品天堂在线播放 。

??时势4:美女把腿张开被弄到高潮

??01月06日,前三季度中国珠宝首饰进出口额达1132.66亿美元,

  做事扎实认真、待人宽容忠实、追求广博精湛、生长永无止境 。这是博深人做人和做事的基础准则,也是博深集团一直生长的座右铭 。精诚所致,金石为开,我们将继续起劲,一直追求一流品质和效劳,营造热情开放、真诚协作、开拓进取的共赢气氛 。我们真诚接待社会各界宾朋莅临博深,同营生长、共创绚烂 。

,毛片www,aa情趣大片,黄片一区二区免费看 。

??01月06日,新疆阿克苏地区乌什县发生5.2级地震 震源深度10千米,

  石村又有部分人受伤了,被那簸箕大的狼爪划开了身体 。

,黄色视频在线观看网,亚洲殴州黄片一级,黄色视频网止 。

【多国重申坚定支持一个中国原则】

【两部门召开联席会议 提出加快推进信用立法】

责编:沃基特克-拉克

审核:张昌尔

责编:布莱克-莱弗利

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图