猫眼影戏
猫眼影戏
韩愈
手机审查
猫眼影戏记者 托尼·罗塞蒂 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑:LRST
【新智元导读】多目的(Multi-target) 以及 视觉参照(Visual Reference) 为视觉定位(Visual Grounding)使命的推理速率和性能同时带来了全新的挑战。 为相识决这一难题,来自UIC和Adobe的研究团队提出了VGent模子。这是一种兼顾速率与性能的?榛杓,旨在将模子的推理与展望能力解耦,并辅以多种?榛銮考苹 。最终,VGent依附不到16B的参数目,在多目的及带视觉参照的视觉定位基准(Omnimodal Referring Expression Segmentation, ORES)上,大幅逾越了Qwen3-VL-30B,实现了平均+18.24 F1的重大提升!
在多模态大模子(MLLM)时代,视觉定位是MLLM细粒度推理能力的主要一环,同时也是实现人机交互和具身智能的焦点能力。
现有的解决计划主要分为两类:
原生Token派(Native-token):像 Qwen2.5-VL 或 Ferret-v2 这样的模子,通过自回归(auto-regressive)的方法使用原有的词表逐个天生界线框坐标 。这种方法不但速率慢(推理时间随目的数目线性增添),并且在多目的场景下容易爆发幻觉(Hallucinations),即模子可能会在枚举完所有目的工具之前就过早阻止,或者在目的麋集的场景中陷入无限天生的死循环。如图一所示,随着目的数目的增添,这类要领在多目的场景下的低效和不稳固性变得尤为显着。
新增Token派(New-token):另一类要领实验通过引入特殊的token(如[SEG]或 object token)来指代目的物。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM。因此,这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力。更严重的是,其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM(如 QwenVL系列)。
来自UIC(伊利诺伊大学芝加哥分校) 和Adobe的研究团队提出一种?榛谋嗦肫-解码器(Encoder-Decoder)架构VGent,其焦点头脑是:将高层的语义推理交给MLLM,将底层的像素展望交给目的检测器(detector),最终通过hidden state将这种解耦后的关系举行毗连。
论文地点:https://arxiv.org/abs/2512.11099
研究职员以为,语义推理和精准定位是两种截然差别的能力,强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望,会导致性能和效率上的权衡。
更切合直觉的方法,应该是由差别的组件做各自善于的事。
基于这一洞察,VGent提出了一种?榛谋嗦肫-解码器设计,使用现成的MLLM和detector将高层多模态推理与底层展望解耦。
其焦点理念在于MLLM和detector的优势是互补的:MLLM善于多模态语义对齐和推理,而detector则善于高效地提供精准的多目的检测框。
图一:VGent(蓝色)与现有先进的MLLM(Qwen2.5-VL,灰色)在多目的视觉定位使命上的比照。左图显示VGent的推理时间恒定且迅速,而 MLLM 随目的数目增添呈线性增添;右图显示VGent在F1分数上实现了显著提升,特殊是在多目的场景下。
要领
基础架构
VGent主要由图二所示的encoder和decoder两部分组成,并引入了三种?榛銮炕疲ㄍ既⑺暮臀澹。
图二:VGent框架概览
如图二所示,左侧encoder是一个 MLLM,使用QuadThinker来提升其多目的推理能力。冻结的encoder输出hidden states并存储下来给到decoder。右侧decoder初始化自encoder的LLM 层,其将detector天生的object proposal作为query,通过cross-attention与encoder的hidden states交互。
研究职员在decoder内部新增了self-attention层(参数初始化自统一层的cross-attention),用于增进query之间的信息交流。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的。响应的segmentation mask则通过 prompt SAM 获得。
QuadThinker:强化多目的推理能力
针对MLLM在多目的场景下推理能力下降的问题,研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker,通过设计特定的prompt和reward functions,指导模子执行区域到全局、分步推理的历程:先划分统计图像四个象限内的目的数目,再汇总总数,最后展望详细坐标。
图三:QuadThinker所使用的prompt。
Mask-aware Label:解决检测与支解的歧义
在多目的场景中,检测(Box)与支解(Mask)使命的界说保存一定的差别。检测通常优化「一对一」的匹配,而支解则旨在召回所有远景像素。
图四:Mask-aware Label示意图;贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件。
这种差别导致了标注歧义:例如图四(左)中,检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框。
在检测使命的 IoU 标准下,由于挂绳的框较量小、相关于整体真值框的重叠率过低,往往会被看成负样本在标注阶段被过滤掉(被标上负标签)。可是关于支解使命来说,这个挂绳属于远景,其应该被标上正标签。
为此,VGent引入了Mask-aware Label,使用IoA (Intersection-over-Area) 指标举行特另外标签分派。如图四(右),IoA通过盘算候选mask (通过proposal prompt SAM获得)与多目的真值的union mask的交集,并除以候选mask自身的面积获得。
由于IoA的分母是候选mask自身面积,该机制能精准召回那些虽然只笼罩了部分目的群(如细小的挂绳)但依然有用的 proposal。模子使用另一个自力的MLP head专门展望这种支解导向的标签,用于解决视觉定位中支解类型的输出。
Global Target Recognition:增强全局感知
为了提升候选框选择的准确性,VGent 引入了Global Target Recognition?。
图五:Global Target Recognition示意图。使用Learnable Queries注入全局目的数目信息,并聚合多个detector的效果以提升召回率。
为了提高召回率,研究职员聚合了来自多个detector的proposal形成一个统一的query set,之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入。
这组query被专门训练用于展望目的的总数以及正样本proposal的数目。通过decoder层内的self-attention机制,这些包括全局统计信息的learnable query能够与proposal query举行交互,将「全局线索」撒播给每一个候选框,从而增强其对目的群体的整体明确,实现更精准的选择。
实验效果
研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估。
多目的视觉定位(Multi-target Visual Grounding)
图六:在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照。ORES是多目的以及保存视觉参照(w/ < mask-ref >)的视觉定位基准。
如图六所示,在极具挑战的ORES基准上,VGent 取得了全新的SOTA效果。相比之前的最佳要领RAS13B,VGent在F1分数上实现了+20.58%的重大提升。VGent在gIoU和cIoU上都带来了显着的提升。
值得注重的是,纵然比照参数目更大的Qwen3-VL-30B,VGent 依然坚持显著优势。同时,得益于?榛杓,VGent 在目的数目增添时坚持恒定且快速的推理速率,阻止了自回归模子随目的增添而线性增添的推理延迟(如图一所示)。
单目的视觉定位(Single-target Visual Grounding)
图七:在referring expression comprehension (REC) 上的性能比照。
VGent在古板单目的基准(RefCOCO, RefCOCO+, RefCOCOg)上也体现卓越。
VGent实现了90.1%的平均准确率,逾越了InternVL3.5-20B和38B等更大规模的模子 。相比其backbone (Qwen2.5-VL-7B),VGent带来了+3.5%的平均性能提升。
可视化
图八:VGent在差别挑战下的展望效果可视化。
VGent在重大场景中展现了极强的鲁棒性。
如图八(上)所示,VGent精准定位所有方形钟表,纵然保存大宗相似的钟表作为滋扰项,展现了VGent在麋集多目的场景下的优越体现。
图八(下)中,VGent 乐成定位了视觉参照(蓝色 mask),并继续推断出左侧穿裙子的女士,扫除了右侧的滋扰项。
参考资料:
https://arxiv.org/abs/2512.11099
秒追ASI
?点赞、转发、在看一键三连?
点亮星标,锁定新智元极速推送!
??时势1:纲手被 狂揉 3d动漫
??01月09日,上海大雾弥漫 部分地区能见度不足50米,
“小不点多抓几头啊。”一群大人流口水。
,苍井空视频。??01月09日,北京推动数字经济特色化发展 构建“一区一品”新格局,
“再来!”他没有祭出蛟族宝术,依旧动用肉身之力,猖獗向前冲去,拳风咆哮,周围的大树强烈摇动,所有叶子皆簌簌坠坠落了下来。
,92看片婬黄大片欧美高清,欧美射精网,永久免费A级网站。??时势2:黑桃tnvm3u8最新版
??01月09日,陕西发现北宋杨家将驻守古城,
就是这样的简朴,来自罗浮大泽的一群能手都在一息间被击杀,没有一点悬念,看的一群强者全身发寒,嗖嗖冒凉气。
,www.婷婷五月情.com,99视频久久9,在线观看三级网址不卡。??01月09日,呼和浩特:蒙古族服饰旅拍出圈 年轻人热衷拍最美照片,
我们时时提倡;で樾,可是,真正能做到的人又有几多呢?着实做到;で樾谓参拿髟偌蚱硬还,捡起马路边的垃圾,推开盲道上的障碍物等等,都是文明的体现。可是,又有谁不嫌贫困呢?当我们随手丢掉零食的包装袋时,你有没有想过,这会使我们的家园——地球妈妈痛苦不堪,会让蹊径变得龌龊不已。这样做,不但害了别人,也害了你自己。
,美国黄片AAAAA,2025男明星和女明里在床上在线看,被三个男人躁爽白浆。??时势3:一色桃子
??01月09日,国台办回应赖清德金门讲话 指其将台湾绑上“台独”战车,
而那如天鹅般皎洁的颈项上也不破例,几道黑兮兮的指印落下,与那雪白滑腻的皮肤形成了鲜明的比照。
,sikixixkino,中文字幕网址在线观看,美女裸体18禁网站免费看图片。??01月09日,创历史新高 2023年内蒙古外贸进出口总值达1965.3亿元,
观战者无不骇然,石子陵太强盛了,逼得族中强盛的宗老这般拼命,着实不可想象,要知道两人的修行时间相差颇大!
,久久亚洲精品无码喷水,A片色黄大色大片,91九色国产PORNY网址。??时势4:最近更新202中文字幕视频
??01月09日,五问今年来北方最强高温过程:为何高温如此凶猛 未来还要热多久? ,
随着互联网金融的快速生长,白条分分卡成为了越来越多人的消耗方法。然而,有时间我们可能会由于种种缘故原由导致白条分分卡逾期,那么逾期了该怎么办呢?本文将围绕这个问题睁开讨论。
1. 实时与效劳商相同:一旦发明自己无法准时还款,应该第一时间与白条分分卡的效劳商举行相同,说明情形并追求解决计划。有些效劳商可能会提供逾期还款的延期或分期付款等方法,资助小我私家解决短期的资金压力。
2. 制订还款妄想:若是小我私家无法一次性还清欠款,可以制订一个合理的还款妄想,凭证妄想逐步送还欠款。这样不但可以减轻小我私家的经济压力,还能够展现小我私家的还款意愿和能力,对小我私家信用的恢复有一定的资助。
3. 注重小我私家消耗习惯:逾期还款的基础缘故原由是小我私家的消耗凌驾了自己的遭受能力。因此,小我私家应该审阅自己的消耗习惯,合理妄想自己的消耗,阻止再次陷入逾期还款的逆境。
白条分分卡逾期是会对小我私家信用爆发影响的。
白条分分卡作为一种信用消耗工具,逾期还款会被纪录在小我私家信用报告中,这将对小我私家信用评级爆发负面影响。一旦小我私家信用评级下降,将会对小我私家的贷款、信用卡申请等方面爆发倒运影响。
然而,纵然白条分分卡逾期了,也并非一定会上小我私家信用。这取决于逾期的情形和处置惩罚方法。若是逾期时间较短,金额较小,并且实时与白条分分卡的效劳商举行相同并还清欠款,那么对小我私家信用的影响可能会较小。可是,若是逾期时间较长,金额较大,并且没有起劲自动地与效劳商举行相同和还款,那么对小我私家信用的影响将会越发严重。
白条分分卡逾期会对小我私家的乞贷能力爆发一定的影响。
一方面,逾期纪录会被其他金融机构看到,这可能会导致其他机构对小我私家的乞贷申请爆发疑虑,降低小我私家的乞贷通过率。另一方面,逾期还款也会降低小我私家的信用评级,从而影响到乞贷的额度和利率。
然而,纵然白条分分卡逾期了,也并非一定不可再乞贷。若是逾期纪录较少,金额较小,并且小我私家的其他信用纪录优异,那么其他金融机构可能会对小我私家的乞贷申请持开放态度。别的,若是小我私家能够起劲自动地与效劳商相同,诠释逾期的缘故原由,并且实时还清欠款,那么也有可能减轻其他金融机构对小我私家的疑虑。
?;で樾挝颐窃谛卸煜陆不埃ň30篇),99久章草在线视频国产,色色影院,少妇色A毛片视频。??01月09日,重庆:渝湘高铁石梁河双线特大桥合龙,
还好,这口鼎是为小不点准备的,而非要去磨炼他们。
,欧美午夜A片,久久99久久99棈品免观看,免费看黄色的。责编:维克兰特
审核:张培莉
责编:刘寒
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1