色色综合色综合,以简单为核心,却拥有强大的功能与丰富的内容

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

F1暴涨20分 ,推理速率恒定!新架构VGent:多目的定位又快又准

2026-01-07 16:21:15
泉源:

猫眼影戏

作者:

朱丽安娜·玛格丽丝

手机审查

  猫眼影戏记者 萨克斯 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:LRST

【新智元导读】多目的(Multi-target) 以及 视觉参照(Visual Reference) 为视觉定位(Visual Grounding)使命的推理速率和性能同时带来了全新的挑战。 为相识决这一难题 ,来自UIC和Adobe的研究团队提出了VGent模子。这是一种兼顾速率与性能的?榛杓 ,旨在将模子的推理与展望能力解耦 ,并辅以多种?榛銮考苹 。最终 ,VGent依附不到16B的参数目 ,在多目的及带视觉参照的视觉定位基准(Omnimodal Referring Expression Segmentation, ORES)上 ,大幅逾越了Qwen3-VL-30B ,实现了平均+18.24 F1的重大提升!

在多模态大模子(MLLM)时代 ,视觉定位是MLLM细粒度推理能力的主要一环 ,同时也是实现人机交互和具身智能的焦点能力。

现有的解决计划主要分为两类:

原生Token派(Native-token):像 Qwen2.5-VL 或 Ferret-v2 这样的模子 ,通过自回归(auto-regressive)的方法使用原有的词表逐个天生界线框坐标 。这种方法不但速率慢(推理时间随目的数目线性增添) ,并且在多目的场景下容易爆发幻觉(Hallucinations) ,即模子可能会在枚举完所有目的工具之前就过早阻止 ,或者在目的麋集的场景中陷入无限天生的死循环。如图一所示 ,随着目的数目的增添 ,这类要领在多目的场景下的低效和不稳固性变得尤为显着。

新增Token派(New-token):另一类要领实验通过引入特殊的token(如[SEG]或 object token)来指代目的物。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM。因此 ,这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力。更严重的是 ,其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM(如 QwenVL系列)。

来自UIC(伊利诺伊大学芝加哥分校) 和Adobe的研究团队提出一种?榛谋嗦肫-解码器(Encoder-Decoder)架构VGent ,其焦点头脑是:将高层的语义推理交给MLLM ,将底层的像素展望交给目的检测器(detector) ,最终通过hidden state将这种解耦后的关系举行毗连。

论文地点:https://arxiv.org/abs/2512.11099

研究职员以为 ,语义推理和精准定位是两种截然差别的能力 ,强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望 ,会导致性能和效率上的权衡。

更切合直觉的方法 ,应该是由差别的组件做各自善于的事。

基于这一洞察 ,VGent提出了一种?榛谋嗦肫-解码器设计 ,使用现成的MLLM和detector将高层多模态推理与底层展望解耦。

其焦点理念在于MLLM和detector的优势是互补的:MLLM善于多模态语义对齐和推理 ,而detector则善于高效地提供精准的多目的检测框。

图一:VGent(蓝色)与现有先进的MLLM(Qwen2.5-VL ,灰色)在多目的视觉定位使命上的比照。左图显示VGent的推理时间恒定且迅速 ,而 MLLM 随目的数目增添呈线性增添 ;右图显示VGent在F1分数上实现了显著提升 ,特殊是在多目的场景下。

要领

基础架构

VGent主要由图二所示的encoder和decoder两部分组成 ,并引入了三种?榛銮炕疲ㄍ既⑺暮臀澹。

图二:VGent框架概览

如图二所示 ,左侧encoder是一个 MLLM ,使用QuadThinker来提升其多目的推理能力。冻结的encoder输出hidden states并存储下来给到decoder。右侧decoder初始化自encoder的LLM 层 ,其将detector天生的object proposal作为query ,通过cross-attention与encoder的hidden states交互。

研究职员在decoder内部新增了self-attention层(参数初始化自统一层的cross-attention) ,用于增进query之间的信息交流。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的。响应的segmentation mask则通过 prompt SAM 获得。

QuadThinker:强化多目的推理能力

针对MLLM在多目的场景下推理能力下降的问题 ,研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker ,通过设计特定的prompt和reward functions ,指导模子执行区域到全局、分步推理的历程:先划分统计图像四个象限内的目的数目 ,再汇总总数 ,最后展望详细坐标。

图三:QuadThinker所使用的prompt。

Mask-aware Label:解决检测与支解的歧义

在多目的场景中 ,检测(Box)与支解(Mask)使命的界说保存一定的差别。检测通常优化「一对一」的匹配 ,而支解则旨在召回所有远景像素。

图四:Mask-aware Label示意图 ;贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件。

这种差别导致了标注歧义:例如图四(左)中 ,检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框。

在检测使命的 IoU 标准下 ,由于挂绳的框较量小、相关于整体真值框的重叠率过低 ,往往会被看成负样本在标注阶段被过滤掉(被标上负标签)。可是关于支解使命来说 ,这个挂绳属于远景 ,其应该被标上正标签。

为此 ,VGent引入了Mask-aware Label ,使用IoA (Intersection-over-Area) 指标举行特另外标签分派。如图四(右) ,IoA通过盘算候选mask (通过proposal prompt SAM获得)与多目的真值的union mask的交集 ,并除以候选mask自身的面积获得。

由于IoA的分母是候选mask自身面积 ,该机制能精准召回那些虽然只笼罩了部分目的群(如细小的挂绳)但依然有用的 proposal。模子使用另一个自力的MLP head专门展望这种支解导向的标签 ,用于解决视觉定位中支解类型的输出。

Global Target Recognition:增强全局感知

为了提升候选框选择的准确性 ,VGent 引入了Global Target Recognition?。

图五:Global Target Recognition示意图。使用Learnable Queries注入全局目的数目信息 ,并聚合多个detector的效果以提升召回率。

为了提高召回率 ,研究职员聚合了来自多个detector的proposal形成一个统一的query set ,之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入。

这组query被专门训练用于展望目的的总数以及正样本proposal的数目。通过decoder层内的self-attention机制 ,这些包括全局统计信息的learnable query能够与proposal query举行交互 ,将「全局线索」撒播给每一个候选框 ,从而增强其对目的群体的整体明确 ,实现更精准的选择。

实验效果

研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估。

多目的视觉定位(Multi-target Visual Grounding)

图六:在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照。ORES是多目的以及保存视觉参照(w/ < mask-ref >)的视觉定位基准。

如图六所示 ,在极具挑战的ORES基准上 ,VGent 取得了全新的SOTA效果。相比之前的最佳要领RAS13B ,VGent在F1分数上实现了+20.58%的重大提升。VGent在gIoU和cIoU上都带来了显着的提升。

值得注重的是 ,纵然比照参数目更大的Qwen3-VL-30B ,VGent 依然坚持显著优势。同时 ,得益于?榛杓 ,VGent 在目的数目增添时坚持恒定且快速的推理速率 ,阻止了自回归模子随目的增添而线性增添的推理延迟(如图一所示)。

单目的视觉定位(Single-target Visual Grounding)

图七:在referring expression comprehension (REC) 上的性能比照。

VGent在古板单目的基准(RefCOCO, RefCOCO+, RefCOCOg)上也体现卓越。

VGent实现了90.1%的平均准确率 ,逾越了InternVL3.5-20B和38B等更大规模的模子 。相比其backbone (Qwen2.5-VL-7B) ,VGent带来了+3.5%的平均性能提升。

可视化

图八:VGent在差别挑战下的展望效果可视化。

VGent在重大场景中展现了极强的鲁棒性。

如图八(上)所示 ,VGent精准定位所有方形钟表 ,纵然保存大宗相似的钟表作为滋扰项 ,展现了VGent在麋集多目的场景下的优越体现。

图八(下)中 ,VGent 乐成定位了视觉参照(蓝色 mask) ,并继续推断出左侧穿裙子的女士 ,扫除了右侧的滋扰项。

参考资料:

https://arxiv.org/abs/2512.11099

秒追ASI

?点赞、转发、在看一键三连?

点亮星标 ,锁定新智元极速推送!

??时势1:.自拍偷拍1页

??01月07日,哪个好人会让你把钱藏锅里、壶里寄走?警惕骗子新花招!,

  2、增强村干部培训 ,是准确看待目今形势 ,妥善处置惩罚好换届后爆发负面问题的需要。在这次换届中 ,各村事情适当 ,要领合理 ,使换届事情顺遂完成 ,各村的新一届班子的年岁结构更年轻、文化条理更高等 ,但墟落干部宗旨意识不牢、群众看法不强、事情作风不实等问题还差别水平地保存。

,www.免费黄色网站视频。

??01月07日,中国船舶沪东中华首现4艘1.3万TEU双燃料箱船同框,

  “应该是骨文的神秘实力 ,令那处神藏沉入了大地下 ,漂移向了远方 ,无人知晓在那里了。”族长一声叹息。

,做久久久久久久久久,国产片视频se,国产精品黄色视频免费看。

??时势2:欧美色图网址

??01月07日,巴黎掠影,

  5、一连刷新立异是1111公司的动力之源。在20年 ,我们首先要一直的解放头脑、更新看法 ,用辩证唯物的看法来看待事物 ,起劲施展人的主观能动性;其次 ,在瞬息万变的市时势前 ,我们要一直的调解产品结构 ,鼎力大举开发新型能源、绿色能源需要的新装备 ,加大产品研发和手艺立异力度 ,争取在20年新产品和新手艺方面有重大突破 ,使公司的焦点竞争力再上一个台阶;再次 ,通过治理立异走一条可一连、低本钱和高效率的 ,节能环保和人与情形协调相处的科学生长之路。

,日本ww网站免费观看,午夜影视在线,有码AV在线网址。

??01月07日,全球最大江海直达纯电动集装箱船首航洋山港,

  三、在事情要领上 ,注重统筹兼顾

,一区二区黄色片国产,操美女 6666,男男艹。

??时势3:欧美精

??01月07日,宁波银行全面启动“3·15”金融消费者权益保护教育宣传活动,

  (二)坚持高标准建设 ,一直完善都会功效。一要树立精品意识 ,以后都会的各项建设都要全心设计、全心建设 ,争创一流水平。尤其是沿街修建要认真把关 ,坚决榨取建设低水平的沿街房。要鼎力大举推广新设计、新标准、新工艺、新手艺 ,提高都会建设的科技含量。都会的旧区刷新要与新区建设相连系。新区建设要坚持先地下、后地上 ,统一妄想、统一设计、统一配套建设。要注重都会景观的整体效果 ,新建的每个组团、每个区片、每条街道、每幢修建都要做到与历史文化风貌、与自然生态情形协调统一 ,注重修建造型、色彩、气概的协调一致 ,吸收海内外修建英华 ,全心设计 ,制作富有沂蒙特色的修建精品 ,要形成富有现代化气息的都会景观。旧区刷新 ,要坚持情形效益、社会效益、经济效益的统一 ,凭证"严酷 ; ,统一治理 ,合理开发 ,永续使用"的原则 ,准确处置惩罚好新与旧、 ;び虢ㄉ璧墓叵 , ;ず枚蓟岬睦肺幕糯 , ;ず美酚乓煨藿捌渲芪У恼蹇占淝樾 ,以延续历史文脉、体现历史古板风貌特色 ,坚决阻止超强度、高密度开发。要树立久远看法 ,以对历史认真、对子孙子女认真的态度 ,妄想建设好每个建设项目 ,不留遗憾 ,不当历史罪人。二要突出都会建设重点。目今 ,都会建设的重点是改善群众栖身条件 ,提高群众生涯质量 ,完善都会综合效劳功效。在都会建设中 ,要把好钢用在刀刃上 ,把有限的资金投在改善群众栖身条件 ,完善都会功效的建设项目上。要牢牢围绕提高群众的生涯质量 ,重点抓好面向中低收入家庭的经济适用房建设和危旧房刷新。牢牢围绕完善都会功效 ,重点增强蹊径交通、供水排水、燃气热力、污水和垃圾处置惩罚、河流整治等。要高度重视公共文化设施建设 ,提升都会文化品位。三要塑造优异的都会生态情形。都会建设要坚持"以人为本"的头脑 ,以相宜"人居"为目的 ,一直提高情形质量。要树立"情形"就是生产力的看法 ,做到都会建设从量的扩展转向质的提高。要抓好都会的公共绿地建设 ,一直提高都会绿化水平。以后的都会建设 ,要做到还空间给黎民 ,建绿地给市民 ,凭证先城内后城郊、先造绿后造景的原则 ,抓好都会园林绿地、栖身区绿地、蹊径两侧绿化带和大情形绿化 ,真正让都会绿起来。在新区建设中 ,绿地率必需抵达30%以上 ,在旧区刷新中 ,绿地率必需抵达25%以上。要严酷执行绿线管制和绿色钤记制度 ,以包管凭证这一目的要求举行建设。要抓好都会供水净化处置惩罚和污水集中处置惩罚工程建设 ,一直提高供、排水能力。要起劲推行都会供排水一体化运营治理。落实节水步伐 ,起劲推广节水用具 ,加速都会供水净化处置惩罚工程、污水集中处置惩罚工程、排水设施工程、中水回用设施工程建设 ,提高水资源使用率。20xx年前 ,每个县城都必需建设一处污水处置惩罚工程。要实验都会清洁工程 ,科学妄想、合理布点 ,搞好垃圾转运站建设 ,逐步镌汰影响市容的垃圾方箱 ,每个城镇都要凭证垃圾的产量 ,妄想建设垃圾无害处置惩罚工程 ,变废为宝 ,逐步解决垃圾对都会的污染问题。要实验绿色能源战略 ,加速都会的集中供热、管道燃气工程建设 ,镌汰烟尘污染 ,改善大气情形。在行政办公区和栖身区禁绝有污染企业保存 ,老城区有污染的企业要通过旧城刷新 ,合理结构 ,尽快搬家。以后要严酷控制有污染企业的生长 ,坚决榨取新上污染企业 ,切实将人为污染源彻底根除。对临沂城妄想区内及城郊的小板厂、小窑厂、小锅炉 ,三区政府要实验关治并举 ,通过相对集中 ,实验集中供热、集中供气等步伐 ,尽快解决临沂城的大气污染问题。要注重都会景观建设。不但要把都会的路通起来 ,把地绿起来 ,把水清起来 ,把气净起来 ,还要把灯亮起来 ,把景美起来。在都会建设中要全心设计塑造富有沂蒙特色的都会景观。要特殊注重标记性修建、标记性景观建设 ,形成奇异的都会"手刺"。

,91在线视频com,美女的奶头软件,国产91探花秘 入口。

??01月07日,江苏出台政策礼包支持民营经济发展,

法庭辩护书需要包括的内容有:第一先写尊重的审讯长、审讯员、民陪审员;第二写出有异议的地方 ,也是有定位非该责的实依据;第三本被告具有从轻处分的法定情节和从轻处分的酌定情节;第四量建议;落款等内容。 二、无罪辩护的看法是什么 无罪辩护是指被告和其辩护状师在庭审为被告无罪的辩白...

,色视频人妖专区,人人人人操人人人人操、com,亚洲 日韩 色 图网站最新。

??时势4:男女黄色网站视频

??01月07日,“妈妈岗”成暖心“妈妈港” 山东探索灵活就业新模式,

  至于其他部落也都步了后尘 ,难避大灾 ,运气相同 ,这一日天地皆泣 ,无尽的人死于凶禽猛兽的尖锐爪子、雪白的牙齿下。

,www.kookc.com,《天天幸福》漫画免费观看,人禽交 欧美 网站。

??01月07日,四川甘孜州全力保障滞留车辆顺利过境,

  “啊……不!”

,久久亚洲精品视频,黄色网站看看黄色网站看看,午夜操一操福利影院。

【强化科技型企业金融服务】

【中新教育丨毕业生80%都出国? 清华大学辟谣:出国(境)深造比例为8%】

责编:保罗·周

审核:赵扬称

责编:拉尔夫·穆舒克

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图