www天天综合视频,甜美诱惑让你心动不已,快来感受那份独特魅力

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

F1暴涨20分,推理速率恒定!新架构VGent:多目的定位又快又准

2026-01-07 11:57:09
泉源:

猫眼影戏

作者:

余胤良

手机审查

  猫眼影戏记者 苏重光 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:LRST

【新智元导读】多目的(Multi-target) 以及 视觉参照(Visual Reference) 为视觉定位(Visual Grounding)使命的推理速率和性能同时带来了全新的挑战。 为相识决这一难题,来自UIC和Adobe的研究团队提出了VGent模子。这是一种兼顾速率与性能的?榛杓,旨在将模子的推理与展望能力解耦,并辅以多种?榛銮考苹 。最终,VGent依附不到16B的参数目,在多目的及带视觉参照的视觉定位基准(Omnimodal Referring Expression Segmentation, ORES)上,大幅逾越了Qwen3-VL-30B,实现了平均+18.24 F1的重大提升!

在多模态大模子(MLLM)时代,视觉定位是MLLM细粒度推理能力的主要一环,同时也是实现人机交互和具身智能的焦点能力。

现有的解决计划主要分为两类:

原生Token派(Native-token):像 Qwen2.5-VL 或 Ferret-v2 这样的模子,通过自回归(auto-regressive)的方法使用原有的词表逐个天生界线框坐标 。这种方法不但速率慢(推理时间随目的数目线性增添),并且在多目的场景下容易爆发幻觉(Hallucinations),即模子可能会在枚举完所有目的工具之前就过早阻止,或者在目的麋集的场景中陷入无限天生的死循环。如图一所示,随着目的数目的增添,这类要领在多目的场景下的低效和不稳固性变得尤为显着。

新增Token派(New-token):另一类要领实验通过引入特殊的token(如[SEG]或 object token)来指代目的物。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM。因此,这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力。更严重的是,其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM(如 QwenVL系列)。

来自UIC(伊利诺伊大学芝加哥分校) 和Adobe的研究团队提出一种?榛谋嗦肫-解码器(Encoder-Decoder)架构VGent,其焦点头脑是:将高层的语义推理交给MLLM,将底层的像素展望交给目的检测器(detector),最终通过hidden state将这种解耦后的关系举行毗连。

论文地点:https://arxiv.org/abs/2512.11099

研究职员以为,语义推理和精准定位是两种截然差别的能力,强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望,会导致性能和效率上的权衡。

更切合直觉的方法,应该是由差别的组件做各自善于的事。

基于这一洞察,VGent提出了一种?榛谋嗦肫-解码器设计,使用现成的MLLM和detector将高层多模态推理与底层展望解耦。

其焦点理念在于MLLM和detector的优势是互补的:MLLM善于多模态语义对齐和推理,而detector则善于高效地提供精准的多目的检测框。

图一:VGent(蓝色)与现有先进的MLLM(Qwen2.5-VL,灰色)在多目的视觉定位使命上的比照。左图显示VGent的推理时间恒定且迅速,而 MLLM 随目的数目增添呈线性增添;右图显示VGent在F1分数上实现了显著提升,特殊是在多目的场景下。

要领

基础架构

VGent主要由图二所示的encoder和decoder两部分组成,并引入了三种?榛銮炕疲ㄍ既⑺暮臀澹。

图二:VGent框架概览

如图二所示,左侧encoder是一个 MLLM,使用QuadThinker来提升其多目的推理能力。冻结的encoder输出hidden states并存储下来给到decoder。右侧decoder初始化自encoder的LLM 层,其将detector天生的object proposal作为query,通过cross-attention与encoder的hidden states交互。

研究职员在decoder内部新增了self-attention层(参数初始化自统一层的cross-attention),用于增进query之间的信息交流。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的。响应的segmentation mask则通过 prompt SAM 获得。

QuadThinker:强化多目的推理能力

针对MLLM在多目的场景下推理能力下降的问题,研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker,通过设计特定的prompt和reward functions,指导模子执行区域到全局、分步推理的历程:先划分统计图像四个象限内的目的数目,再汇总总数,最后展望详细坐标。

图三:QuadThinker所使用的prompt。

Mask-aware Label:解决检测与支解的歧义

在多目的场景中,检测(Box)与支解(Mask)使命的界说保存一定的差别。检测通常优化「一对一」的匹配,而支解则旨在召回所有远景像素。

图四:Mask-aware Label示意图;贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件。

这种差别导致了标注歧义:例如图四(左)中,检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框。

在检测使命的 IoU 标准下,由于挂绳的框较量小、相关于整体真值框的重叠率过低,往往会被看成负样本在标注阶段被过滤掉(被标上负标签)。可是关于支解使命来说,这个挂绳属于远景,其应该被标上正标签。

为此,VGent引入了Mask-aware Label,使用IoA (Intersection-over-Area) 指标举行特另外标签分派。如图四(右),IoA通过盘算候选mask (通过proposal prompt SAM获得)与多目的真值的union mask的交集,并除以候选mask自身的面积获得。

由于IoA的分母是候选mask自身面积,该机制能精准召回那些虽然只笼罩了部分目的群(如细小的挂绳)但依然有用的 proposal。模子使用另一个自力的MLP head专门展望这种支解导向的标签,用于解决视觉定位中支解类型的输出。

Global Target Recognition:增强全局感知

为了提升候选框选择的准确性,VGent 引入了Global Target Recognition?。

图五:Global Target Recognition示意图。使用Learnable Queries注入全局目的数目信息,并聚合多个detector的效果以提升召回率。

为了提高召回率,研究职员聚合了来自多个detector的proposal形成一个统一的query set,之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入。

这组query被专门训练用于展望目的的总数以及正样本proposal的数目。通过decoder层内的self-attention机制,这些包括全局统计信息的learnable query能够与proposal query举行交互,将「全局线索」撒播给每一个候选框,从而增强其对目的群体的整体明确,实现更精准的选择。

实验效果

研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估。

多目的视觉定位(Multi-target Visual Grounding)

图六:在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照。ORES是多目的以及保存视觉参照(w/ < mask-ref >)的视觉定位基准。

如图六所示,在极具挑战的ORES基准上,VGent 取得了全新的SOTA效果。相比之前的最佳要领RAS13B,VGent在F1分数上实现了+20.58%的重大提升。VGent在gIoU和cIoU上都带来了显着的提升。

值得注重的是,纵然比照参数目更大的Qwen3-VL-30B,VGent 依然坚持显著优势。同时,得益于?榛杓,VGent 在目的数目增添时坚持恒定且快速的推理速率,阻止了自回归模子随目的增添而线性增添的推理延迟(如图一所示)。

单目的视觉定位(Single-target Visual Grounding)

图七:在referring expression comprehension (REC) 上的性能比照。

VGent在古板单目的基准(RefCOCO, RefCOCO+, RefCOCOg)上也体现卓越。

VGent实现了90.1%的平均准确率,逾越了InternVL3.5-20B和38B等更大规模的模子 。相比其backbone (Qwen2.5-VL-7B),VGent带来了+3.5%的平均性能提升。

可视化

图八:VGent在差别挑战下的展望效果可视化。

VGent在重大场景中展现了极强的鲁棒性。

如图八(上)所示,VGent精准定位所有方形钟表,纵然保存大宗相似的钟表作为滋扰项,展现了VGent在麋集多目的场景下的优越体现。

图八(下)中,VGent 乐成定位了视觉参照(蓝色 mask),并继续推断出左侧穿裙子的女士,扫除了右侧的滋扰项。

参考资料:

https://arxiv.org/abs/2512.11099

秒追ASI

?点赞、转发、在看一键三连?

点亮星标,锁定新智元极速推送!

??时势1:国产男女作爱A片在线观看

??01月07日,四川雅江:因泥石流中断的国道318公路全幅抢通,

  四族强者恐慌,亡命飞逃,再也不敢停留。

,22精品秘 一区二区三区。

??01月07日,北京副市长高朋被查,

  3、开展培训,是团结向导群众致富的现实需要。目今,群众最盼的就是致富。能否向导群众致富是评价干部的主要标准。近年来,宽大农村下层干部为向导群众脱贫致富奔小康,倾注了大宗的心血和汗水。但也有少数干部不注重增强学习,不注重提高自身素质,头脑看法陈腐,跟不上形势,事情老套套、老步伐,找不到致富的路子;有的定心当太平官,当传话筒,不干事情,更谈不上立异;有的只顾自己富,不管他人穷,甚至依仗势力侵占整体和群众利益。与上级的要求、与群众的期望相比,尚有不少差别。必需通过学习培训,进一步增强加速生长的责任感,提高抓机缘、抓项目、抓经济的本事,引领群众脱贫致富奔小康。

,和美女啪啪啪,97亚洲日韩激情无码一区,性爱视频午夜。

??时势2:男女一级a做片性

??01月07日,山西太原百余年拱极门前上演“二月二”民俗表演,

  二要夯实事情责任。建设农村低保制度,维护和包管农村难题群众的基本生涯,是各级政府的主要职责。各州里长既是农村低保事情的第一责任人,更是农村宽大难题群众的代言人,务须要把这件实事抓紧抓好、抓出效果。各相关部分要通力相助,配合做好相关事情。民政部分要增强指导、全心组织,将周全实验农村低保制度作为目今民政事情的主要使命,下鼎实力抓紧抓好。财务部分要抓好资金落实,实时足额落实农村低保资金。监察部分要增强催促检查,确保农村低保公正、公正实验。审计部分要增强对资金使用的监视治理。扶贫、农业、统计等部分要自动配合民政部分,准确提供农村贫困户扶贫档案和资料,做好包管工具的核查事情,协助做好包管工具和家庭收入的审定事情。要教育各级干部特殊是乡、村干部熟悉到农村低保是一种义务和责任,要把实验农村低保作为广施爱心的详细行动,带着对贫困群众的真挚情绪做好农村低保各项事情。工具确定要公正、公正,分档津贴要注重现实,事情程序要简朴快捷、利便群众。

,毛片。毛片网站,手机av综合网,蠢沫沫。

??01月07日,宁夏银川2025年谋划171个农业项目 总投资174亿元,

  3、你们是加速生长的生力军。今年换届选举周全贯彻了“生长为先、做事为重”的为人导向。在座列位都是肯做事、会做事、懂谋划、善致富的模范,市委、市政府对你们寄予厚望。近几年,宽大下层组织和农村干部在推动生长中施展了起劲的作用,我市是全省25个欠蓬勃县市中惟逐一个农民人均纯收入凌驾5000元的县,为我们追赶天下百强县创立了优异条件。下一步,农村要加速生长奔小康,要害在于村级组织能否集中精神抓生长,村干步队伍能否全力做事、争先创优,村支书、村主任能否带动致富、向导群众致富。以是,列位要通过种种途径抓好自身生长,作致富楷模;要起劲施展传帮带作用,向导群众致富;要抢抓机缘,牢抓项目,壮大村整体经济。目今,我市围绕“缩小差别、争先进位”目的,全力实验“兴工强市、借力生长”战略和“六六”工业工程,形势催人,各人一定要充分熟悉自己的责任和价值,起劲有为,助推生长。

,免费看A片秘 免费软件,韩国一级婬片A片视频在线观看v,精品秘 无码人妻一区二区媚黑。

??时势3:欧美A片在线免费播放器欧美

??01月07日,梦回长安 《大唐狄公案》官宣定档,

  “我父亲不可这样白死,要讨一个说法!”金狼部落一个雄壮的青年吼道,眸子像狼一样平常,闪动凶悍的光线。

,国产精品馆,91POPNY丨熟女,A片免费观看视频网站。

??01月07日,改革·印记丨总书记提及的这扇“窗”,越开越大,

  周全完成了20xx年人工造林500亩外业视察设计及上报、完成4000亩封山育林外业视察设计及上报、完成3000亩中幼林抚育外业视察设计及上报。

,特级艳片在线观看免费,97chaopeng.com,91aaa九色。

??时势4:插视频在线综合在线综合

??01月07日,备战U18女篮亚锦赛 2.24米“女姚明”张子宇有专门的训练计划,

  “走吧,不然那头大虫子又要杀来了。”小不点翻身上马,他相信,这样一连几日,那头大虫不眠不睡的追赶,早晚会疲倦而放弃。

,小 戳进 日漫,小 戳进 无遮挡网站蘑菇视频,虞姬清凉图片。

??01月07日,贵阳贵安启动东数西算数智平台,

  “咦,他不是赤云令郎,这是他弟弟,我曾见到过。”

,国产模特模特模特私拍视频,毛片在线播,自拍私拍第一页。

【浙江台州今年首批出口杨梅发往新加坡】

【云南龙陵小黑山:多种野生动物池塘戏水消暑】

责编:程立珊

审核:左想忠

责编:马克·琼斯

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图