(3分钟快速体验)美女 免费视频网站电脑版v70.35.91.0.28.21.71.08-2265安卓网

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

F1暴涨20分,推理速率恒定!新架构VGent:多目的定位又快又准

2026-01-08 03:55:50
泉源:

猫眼影戏

作者:

郭田勇

手机审查

  猫眼影戏记者 杜鹏 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:LRST

【新智元导读】多目的(Multi-target) 以及 视觉参照(Visual Reference) 为视觉定位(Visual Grounding)使命的推理速率和性能同时带来了全新的挑战 。 为相识决这一难题,来自UIC和Adobe的研究团队提出了VGent模子 。这是一种兼顾速率与性能的?榛杓,旨在将模子的推理与展望能力解耦,并辅以多种?榛銮考苹  。最终,VGent依附不到16B的参数目,在多目的及带视觉参照的视觉定位基准(Omnimodal Referring Expression Segmentation, ORES)上,大幅逾越了Qwen3-VL-30B,实现了平均+18.24 F1的重大提升!

在多模态大模子(MLLM)时代,视觉定位是MLLM细粒度推理能力的主要一环,同时也是实现人机交互和具身智能的焦点能力 。

现有的解决计划主要分为两类:

原生Token派(Native-token):像 Qwen2.5-VL 或 Ferret-v2 这样的模子,通过自回归(auto-regressive)的方法使用原有的词表逐个天生界线框坐标  。这种方法不但速率慢(推理时间随目的数目线性增添),并且在多目的场景下容易爆发幻觉(Hallucinations),即模子可能会在枚举完所有目的工具之前就过早阻止,或者在目的麋集的场景中陷入无限天生的死循环 。如图一所示,随着目的数目的增添,这类要领在多目的场景下的低效和不稳固性变得尤为显着 。

新增Token派(New-token):另一类要领实验通过引入特殊的token(如[SEG]或 object token)来指代目的物 。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM 。因此,这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力 。更严重的是,其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM(如 QwenVL系列) 。

来自UIC(伊利诺伊大学芝加哥分校) 和Adobe的研究团队提出一种?榛谋嗦肫-解码器(Encoder-Decoder)架构VGent,其焦点头脑是:将高层的语义推理交给MLLM,将底层的像素展望交给目的检测器(detector),最终通过hidden state将这种解耦后的关系举行毗连 。

论文地点:https://arxiv.org/abs/2512.11099

研究职员以为,语义推理和精准定位是两种截然差别的能力,强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望,会导致性能和效率上的权衡 。

更切合直觉的方法,应该是由差别的组件做各自善于的事 。

基于这一洞察,VGent提出了一种?榛谋嗦肫-解码器设计,使用现成的MLLM和detector将高层多模态推理与底层展望解耦 。

其焦点理念在于MLLM和detector的优势是互补的:MLLM善于多模态语义对齐和推理,而detector则善于高效地提供精准的多目的检测框 。

图一:VGent(蓝色)与现有先进的MLLM(Qwen2.5-VL,灰色)在多目的视觉定位使命上的比照 。左图显示VGent的推理时间恒定且迅速,而 MLLM 随目的数目增添呈线性增添;右图显示VGent在F1分数上实现了显著提升,特殊是在多目的场景下 。

要领

基础架构

VGent主要由图二所示的encoder和decoder两部分组成,并引入了三种?榛銮炕疲ㄍ既⑺暮臀澹 。

图二:VGent框架概览

如图二所示,左侧encoder是一个 MLLM,使用QuadThinker来提升其多目的推理能力 。冻结的encoder输出hidden states并存储下来给到decoder 。右侧decoder初始化自encoder的LLM 层,其将detector天生的object proposal作为query,通过cross-attention与encoder的hidden states交互 。

研究职员在decoder内部新增了self-attention层(参数初始化自统一层的cross-attention),用于增进query之间的信息交流 。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的 。响应的segmentation mask则通过 prompt SAM 获得 。

QuadThinker:强化多目的推理能力

针对MLLM在多目的场景下推理能力下降的问题,研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker,通过设计特定的prompt和reward functions,指导模子执行区域到全局、分步推理的历程:先划分统计图像四个象限内的目的数目,再汇总总数,最后展望详细坐标 。

图三:QuadThinker所使用的prompt 。

Mask-aware Label:解决检测与支解的歧义

在多目的场景中,检测(Box)与支解(Mask)使命的界说保存一定的差别 。检测通常优化「一对一」的匹配,而支解则旨在召回所有远景像素 。

图四:Mask-aware Label示意图 ;贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件 。

这种差别导致了标注歧义:例如图四(左)中,检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框 。

在检测使命的 IoU 标准下,由于挂绳的框较量小、相关于整体真值框的重叠率过低,往往会被看成负样本在标注阶段被过滤掉(被标上负标签) 。可是关于支解使命来说,这个挂绳属于远景,其应该被标上正标签 。

为此,VGent引入了Mask-aware Label,使用IoA (Intersection-over-Area) 指标举行特另外标签分派 。如图四(右),IoA通过盘算候选mask (通过proposal prompt SAM获得)与多目的真值的union mask的交集,并除以候选mask自身的面积获得 。

由于IoA的分母是候选mask自身面积,该机制能精准召回那些虽然只笼罩了部分目的群(如细小的挂绳)但依然有用的 proposal 。模子使用另一个自力的MLP head专门展望这种支解导向的标签,用于解决视觉定位中支解类型的输出 。

Global Target Recognition:增强全局感知

为了提升候选框选择的准确性,VGent 引入了Global Target Recognition? 。

图五:Global Target Recognition示意图 。使用Learnable Queries注入全局目的数目信息,并聚合多个detector的效果以提升召回率 。

为了提高召回率,研究职员聚合了来自多个detector的proposal形成一个统一的query set,之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入 。

这组query被专门训练用于展望目的的总数以及正样本proposal的数目 。通过decoder层内的self-attention机制,这些包括全局统计信息的learnable query能够与proposal query举行交互,将「全局线索」撒播给每一个候选框,从而增强其对目的群体的整体明确,实现更精准的选择 。

实验效果

研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估 。

多目的视觉定位(Multi-target Visual Grounding)

图六:在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照 。ORES是多目的以及保存视觉参照(w/ < mask-ref >)的视觉定位基准 。

如图六所示,在极具挑战的ORES基准上,VGent 取得了全新的SOTA效果 。相比之前的最佳要领RAS13B,VGent在F1分数上实现了+20.58%的重大提升 。VGent在gIoU和cIoU上都带来了显着的提升 。

值得注重的是,纵然比照参数目更大的Qwen3-VL-30B,VGent 依然坚持显著优势 。同时,得益于?榛杓,VGent 在目的数目增添时坚持恒定且快速的推理速率,阻止了自回归模子随目的增添而线性增添的推理延迟(如图一所示) 。

单目的视觉定位(Single-target Visual Grounding)

图七:在referring expression comprehension (REC) 上的性能比照 。

VGent在古板单目的基准(RefCOCO, RefCOCO+, RefCOCOg)上也体现卓越 。

VGent实现了90.1%的平均准确率,逾越了InternVL3.5-20B和38B等更大规模的模子  。相比其backbone (Qwen2.5-VL-7B),VGent带来了+3.5%的平均性能提升 。

可视化

图八:VGent在差别挑战下的展望效果可视化 。

VGent在重大场景中展现了极强的鲁棒性 。

如图八(上)所示,VGent精准定位所有方形钟表,纵然保存大宗相似的钟表作为滋扰项,展现了VGent在麋集多目的场景下的优越体现 。

图八(下)中,VGent 乐成定位了视觉参照(蓝色 mask),并继续推断出左侧穿裙子的女士,扫除了右侧的滋扰项 。

参考资料:

https://arxiv.org/abs/2512.11099

秒追ASI

?点赞、转发、在看一键三连?

点亮星标,锁定新智元极速推送!

??时势1:17c白丝 扒腿自慰300AV

??01月08日,中国西藏第五届跨喜马拉雅国际公路自行车极限赛开赛,

  西津物流是绵阳投资控股集团的成员企业,公司注册资源4000万元(现在,集团正在办理2500万元增资手续) 。公司的定位是致力于成为优异供应链效劳商,通过集中采购、阳光采购,通过信息化工具和治理立异、通过金融立异,整合供应资源,提升供应链效率,为客户成绩、创立价值 。

,唐嫣一级婬片A片AAA 。

??01月08日,八成受访新职业青年通过直播平台实现就业创业,

  一、肯定效果,正视差别,进一步明确新时期增强都会妄想建设治理的目的

,91在线无码精品秘 国产chengqingb.com,嗯 啊 用力撞入体内女图片,在线视频一区二区三区四区 。

??时势2:操逼

??01月08日,“巴黎锌屋顶工匠与装饰工匠技艺”列入人类非物质文化遗产代表作名录,

  谨向刚从向导岗位上退下来的雷主席、李主任、龚主任表达我真挚的谢意!这些年来,雷主席、李主任、龚主任在各自的向导岗位上,为学校的生长呕心沥血,励精图治 。对此,我校全体教职工谢谢你们!正是你们的开拓进取,锐意刷新,才增添了学校的生长活力;正是你们的真抓实干,注重实效,才夯实了学校的生长基本;正是你们的以身作则,率先垂范,才带来了向导班子好的党风和作风,学校的生长,我们的这三位老向导可说是功不可没,对此,学校不会遗忘,全体教职工不会遗忘!希望你们在以后的 事情和生涯中,退线不退志,退岗不退心,充分验展自己的余热,一如既往地支持学校事情,为学校生长出谋划策,为学校建设的生长添砖加瓦 。云云,则是学校之幸!

,打扑克,久久人妻无码精品88,孕妇被各种姿势C到高视频 。

??01月08日,开辟“深度共创”新模式 《你们说了算》之里院来福战开播,

  着实作为校长,我也一直把这所学校当成自己的孩子一样,期待她的康健期待她的生长 。这些年来我一直坚持去对口的小学给家长们作,做效果好的学生家长的事情,我希望为三十五中学留住更多更好的学苗,希望以此提高学校的效果,也是想告诉这些家长们一个事实,不要迷信某些所谓的热门学校,三十五中学能够给予孩子们的不比任何一所所谓的热门学校差,在这里我们不但教会孩子知识,更教会他们熟悉这个天下,学会融入周边的生涯,我们要他们乐成成才,更要他们成人 。我们给了他们效果,更给了他们生长 。在这个历程中,可以说我们是弯下腰来在做这些家长事情,但我们也绝不跪求!勤学苗没有选择三十五中我们会惋惜,由于与一名学优生擦肩而过,但也许某一天他也会有懊恼,由于他或许会意识到自己与一所优质学校失之交臂 。判断一所学校是否优质,不但仅看这所学校学生最终的效果,更主要看学生的生长,看他们什么样的效果出,还要看当初是什么样的效果入 。虽然说一连几年的中考效果,让我,也让三十五中学有了些许的自豪感 。但今天的三十五中学还远谈不上乐成,或许我们可以说三十五中学正在向着乐成的目的坚实前行 。若是说教学效果只是三十五中学今是昨非的一个佐证的话,那么中山区优质窗口学校、大连市首批特色目录学校、辽宁省课改树模校等一个又一个丰富效果都在印证着我们的生长与前进 。而这些成绩的取得都源于一个词,那就是“锲而不舍” 。学校乐成靠的是这种,小我私家乐成也也离不开这种意志 。一时的失败或是波折算不上什么,既然我们的'目的在天涯,我们留给天下的注定只能是背影 。一其中考着实只能算是一次期中考试,到了高中还会有重新洗牌的时机 。中考决议不了未来,人生的造化甚至不取决于三年后的高考 ?突仿〈笱Ы淌诶嫉?鲍什有一个“砖墙”理论 。在被誉为“最后一课”的伟大讲演中,鲍什如是说道:“请记着,那些阻挡你的障碍肯定是有缘由的!这堵墙并不是为了阻止我们,而是要让我们有时机展现自己多想抵达目的 。这堵墙是为了阻止那些缺少盼愿的人,也是为了阻止那些不敷热爱生涯的人 。”以是我要说的是,在录取的那一天来临的时间,即便你没有如愿考上心目中的学校,也要背过身擦干泪水转过头微笑前行 。乐成的路千条万条,三百六十行,行行都能出状元 。一小我私家只要心存梦想,永不言弃就一定能能抵达乐成的彼岸 。母E卧改愠刹,怙恃盼愿你乐成,但你首先要成人!三十五中学校史馆、三十五中学历史影象墙永远都会为那些自强不息起劲斗争的学子们留白 。面朝大海的三十五中学期待每位同砚,春暖花开,绽放异彩!更盼平安康健,快乐幸福!

,18一级婬片A片AAA毛片A级,yw.193.com,久久AV不卡网站 。

??时势3:2008年的惊艳照片免费观看

??01月08日,内蒙古首次大规模发现战国时期围沟墓,

  统一时间,又有七八头强横的生物泛起,远胜一样平常的巨兽,形成了恐怖的坚持 。

,19+amsr,XXXX白人性与XXXX黑人,嗯啊不A片短视频 。

??01月08日,新疆阿克苏地区重要输变电工程投运,

  可是,这里却建有一座巨城,坐落在中央的巨山上,俯视着八荒万物 。

,男女半夜看骚网站,女性脱 给我揉 91香蕉,八重神子裸体被 涩涩游戏 。

??时势4:国产综合久久精品综合AV无码

??01月08日,310052,这个行政区划代码不一般,

  学生干部中保存这些问题的缘故原由是多方面的,既有学生干部自身素质的问题,也有教育治理上的缺陷 。就治理而言,我们的党团组织、有关部分对学生干部安排事情多、系统的理论培训少 。以是,以后我们增强学生干步队伍建设要从两方面举行,一是学生干部要增强自身的修养,二是党团组织和学生事情部分要增强对学生干部的培训和指导 。要通过增强学生干部的培训、指导和自我修养,一直提高其综合素质 。

,手机黄电影在线免费观看网址,美女肛交的视频,黄片免费在线啪 。

??01月08日,浙江:以“四个坚持” 推动民营经济发展壮大,

  “快逃!”小石昊眼神很亮,透过巨树的枝桠误差,看到了天空中一团阴影正在盘旋,朝这个偏向而来 。

,国产网友自拍,激情视頻网址,伊人免费 。

【讲究不将就,让他们实现跨越百年的品质共鸣】

【贵州安顺:地戏演出引游人】

责编:高希希

审核:万马军

责编:郭祥云

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图