猫眼影戏
 |
|
猫眼影戏
彭尼·杨格
手机审查
猫眼影戏记者 吴英杰 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑：LRST
【新智元导读】多目的（Multi-target） 以及 视觉参照（Visual Reference） 为视觉定位（Visual Grounding）使命的推理速率和性能同时带来了全新的挑战。 为相识决这一难题 ，来自UIC和Adobe的研究团队提出了VGent模子。这是一种兼顾速率与性能的模块化设计 ，旨在将模子的推理与展望能力解耦 ，并辅以多种模块化增强计划 。最终 ，VGent依附不到16B的参数目 ，在多目的及带视觉参照的视觉定位基准（Omnimodal Referring Expression Segmentation, ORES）上 ，大幅逾越了Qwen3-VL-30B ，实现了平均+18.24 F1的重大提升！
在多模态大模子（MLLM）时代 ，视觉定位是MLLM细粒度推理能力的主要一环 ，同时也是实现人机交互和具身智能的焦点能力。
现有的解决计划主要分为两类：
原生Token派（Native-token）：像 Qwen2.5-VL 或 Ferret-v2 这样的模子 ，通过自回归（auto-regressive）的方法使用原有的词表逐个天生界线框坐标 。这种方法不但速率慢（推理时间随目的数目线性增添） ，并且在多目的场景下容易爆发幻觉（Hallucinations） ，即模子可能会在枚举完所有目的工具之前就过早阻止 ，或者在目的麋集的场景中陷入无限天生的死循环。如图一所示 ，随着目的数目的增添 ，这类要领在多目的场景下的低效和不稳固性变得尤为显着。
新增Token派（New-token）：另一类要领实验通过引入特殊的token（如[SEG]或 object token）来指代目的物。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM。因此 ，这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力。更严重的是 ，其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM（如 QwenVL系列）。
来自UIC（伊利诺伊大学芝加哥分校） 和Adobe的研究团队提出一种模块化的编码器-解码器（Encoder-Decoder）架构VGent ，其焦点头脑是：将高层的语义推理交给MLLM ，将底层的像素展望交给目的检测器（detector） ，最终通过hidden state将这种解耦后的关系举行毗连。
论文地点：https://arxiv.org/abs/2512.11099
研究职员以为 ，语义推理和精准定位是两种截然差别的能力 ，强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望 ，会导致性能和效率上的权衡。
更切合直觉的方法 ，应该是由差别的组件做各自善于的事。
基于这一洞察 ，VGent提出了一种模块化的编码器-解码器设计 ，使用现成的MLLM和detector将高层多模态推理与底层展望解耦。
其焦点理念在于MLLM和detector的优势是互补的：MLLM善于多模态语义对齐和推理 ，而detector则善于高效地提供精准的多目的检测框。
图一：VGent（蓝色）与现有先进的MLLM（Qwen2.5-VL ，灰色）在多目的视觉定位使命上的比照。左图显示VGent的推理时间恒定且迅速 ，而 MLLM 随目的数目增添呈线性增添；右图显示VGent在F1分数上实现了显著提升 ，特殊是在多目的场景下。
要领
基础架构
VGent主要由图二所示的encoder和decoder两部分组成 ，并引入了三种模块化增强机制（图三、四和五）。
图二：VGent框架概览
如图二所示 ，左侧encoder是一个 MLLM ，使用QuadThinker来提升其多目的推理能力。冻结的encoder输出hidden states并存储下来给到decoder。右侧decoder初始化自encoder的LLM 层 ，其将detector天生的object proposal作为query ，通过cross-attention与encoder的hidden states交互。
研究职员在decoder内部新增了self-attention层（参数初始化自统一层的cross-attention） ，用于增进query之间的信息交流。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的。响应的segmentation mask则通过 prompt SAM 获得。
QuadThinker：强化多目的推理能力
针对MLLM在多目的场景下推理能力下降的问题 ，研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker ，通过设计特定的prompt和reward functions ，指导模子执行区域到全局、分步推理的历程：先划分统计图像四个象限内的目的数目 ，再汇总总数 ，最后展望详细坐标。
图三：QuadThinker所使用的prompt。
Mask-aware Label：解决检测与支解的歧义
在多目的场景中 ，检测（Box）与支解（Mask）使命的界说保存一定的差别。检测通常优化「一对一」的匹配 ，而支解则旨在召回所有远景像素。
图四：Mask-aware Label示意图；贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件。
这种差别导致了标注歧义：例如图四（左）中 ，检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框。
在检测使命的 IoU 标准下 ，由于挂绳的框较量小、相关于整体真值框的重叠率过低 ，往往会被看成负样本在标注阶段被过滤掉（被标上负标签）。可是关于支解使命来说 ，这个挂绳属于远景 ，其应该被标上正标签。
为此 ，VGent引入了Mask-aware Label ，使用IoA (Intersection-over-Area) 指标举行特另外标签分派。如图四（右） ，IoA通过盘算候选mask （通过proposal prompt SAM获得）与多目的真值的union mask的交集 ，并除以候选mask自身的面积获得。
由于IoA的分母是候选mask自身面积 ，该机制能精准召回那些虽然只笼罩了部分目的群（如细小的挂绳）但依然有用的 proposal。模子使用另一个自力的MLP head专门展望这种支解导向的标签 ，用于解决视觉定位中支解类型的输出。
Global Target Recognition：增强全局感知
为了提升候选框选择的准确性 ，VGent 引入了Global Target Recognition模块。
图五：Global Target Recognition示意图。使用Learnable Queries注入全局目的数目信息 ，并聚合多个detector的效果以提升召回率。
为了提高召回率 ，研究职员聚合了来自多个detector的proposal形成一个统一的query set ，之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入。
这组query被专门训练用于展望目的的总数以及正样本proposal的数目。通过decoder层内的self-attention机制 ，这些包括全局统计信息的learnable query能够与proposal query举行交互 ，将「全局线索」撒播给每一个候选框 ，从而增强其对目的群体的整体明确 ，实现更精准的选择。
实验效果
研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估。
多目的视觉定位（Multi-target Visual Grounding）
图六：在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照。ORES是多目的以及保存视觉参照（w/ < mask-ref >）的视觉定位基准。
如图六所示 ，在极具挑战的ORES基准上 ，VGent 取得了全新的SOTA效果。相比之前的最佳要领RAS13B ，VGent在F1分数上实现了+20.58%的重大提升。VGent在gIoU和cIoU上都带来了显着的提升。
值得注重的是 ，纵然比照参数目更大的Qwen3-VL-30B ，VGent 依然坚持显著优势。同时 ，得益于模块化设计 ，VGent 在目的数目增添时坚持恒定且快速的推理速率 ，阻止了自回归模子随目的增添而线性增添的推理延迟（如图一所示）。
单目的视觉定位（Single-target Visual Grounding）
图七：在referring expression comprehension (REC) 上的性能比照。
VGent在古板单目的基准（RefCOCO, RefCOCO+, RefCOCOg）上也体现卓越。
VGent实现了90.1%的平均准确率 ，逾越了InternVL3.5-20B和38B等更大规模的模子 。相比其backbone (Qwen2.5-VL-7B) ，VGent带来了+3.5%的平均性能提升。
可视化
图八：VGent在差别挑战下的展望效果可视化。
VGent在重大场景中展现了极强的鲁棒性。
如图八（上）所示 ，VGent精准定位所有方形钟表 ，纵然保存大宗相似的钟表作为滋扰项 ，展现了VGent在麋集多目的场景下的优越体现。
图八（下）中 ，VGent 乐成定位了视觉参照（蓝色 mask） ，并继续推断出左侧穿裙子的女士 ，扫除了右侧的滋扰项。
参考资料：
https://arxiv.org/abs/2512.11099
秒追ASI
?点赞、转发、在看一键三连?
点亮星标 ，锁定新智元极速推送！
??时势1：91x.xx
??01月07日,“低糖大米”、超高产水稻……这些农作物优良品种你了解吗？,
列位住民 ，列位同志 ，今天来到这里 ，我的心情即兴致勃勃又异常极重Ｗ纺5月12日在短短数分钟内 ，四川汶川地动就夺去了数万人的名贵生命 ，造成了重大的损失。这不但是国家的灾难 ，也是全中国人民的灾难。这场灾难牵动着每一其中国人的心 ，更牵动着我们建设社戋戋民的心。中国是一个饱受自然灾难的国家。我们的住民们对灾难带给四川同胞们的痛苦感同身受 ，深知灾祸真情之难堪。灾难爆发后 ，建设社区的住民们举行了迄今为止最大规模的募捐行动。我深知我们的住民大多并不富足 ，有的住民掏出的是家中仅有的积贮 ，有的更是乞贷表达自己的心意。住民同志们 ，你们所提供的援助是无私的 ，你们的行动寄托了你们的深情厚谊 ，显示出了你们的至心至心。我们的募捐 ，对灾区来说 ，可能是杯水车薪 ，可是 ，请记着这样一句话“再大的难题除以十三亿就是就是一个很小的问题!一个很小的爱心乘以十三亿就是爱的海洋 ，”。
,性配久久久。??01月07日,上海邮轮市场加速恢复 今年前10个月国际邮轮靠泊198艘次,
那只神鸟金色眸子深邃 ，漩涡如渊海 ，真是要将人的灵魂拉扯进去 ，若是一样平常的生物适才必定饮恨！
,妩媚婷儿户外系列免费观看国语版,动漫脏3d无尽丝袜,午夜欧美Aa视频。??时势2：天天插天天日天天爽
??01月07日,官方解读国家知识产权保护示范区：“快车道”“硬手腕”“试验田”,
公司的全体员工们：
,无码少妇一区二区三区av,午夜a一级毛片免费,国产无码视频对白刺激麻豆久久。??01月07日,万千气象看中国 | 新质生产力，正发力！,
不久前 ，他们吃了一个暴亏 ，领武士物蛟苍被废 ，遣出的能手更是险些所有折损 ，令他们举族皆愤。现在至强的族主亲自来了 ，岂非还灭不了一个墟落不可？打死他们也不相信。
,玩弄亲女裸睡的小嫩苞高清,草莓视频污版下载,日日夜夜操屄。??时势3：谁有免费在线黄色网站
??01月07日,（巴黎奥运）“行动派”邹敬园：有收获也有遗憾，这就是奥运,
自去年召开事情聚会至今 ，已经已往了整整一年 ，最显着的感受就是时间过得很快。在这一年中全院上下起劲事情 ，虽然泛起了倒运因素的影响 ，但我院的各项事情照旧取得了不少的效果。尤其是在教学事情方面的效果是有目共睹的：本科生、研究生的招生人数突破纪录;教学督导组事情顺遂开展;学科建设深入人心;全体西席的心血之作--教学纲要乐成付印;完全学分制的实验已经确定……可以说泛起了我院亘古未有的好时势 ，为下学年周全推行学分制刷新涤讪了坚实的基础。
,精品在线一,久久bbxxxx,成人91视频在线观看。??01月07日,新经济增速强劲 浙江2023年新设个体工商户迎新高,
作为学生 ，一年有绝大部分时间在学校和学校周围生涯。在这个生齿麋集 ，面积狭窄的特殊的情形里 ，清静更是我们的一直关注的重点 ，国家有关部分为此专门立了相关执律例则 ，制订了相关条例。如《学生危险事故处置惩罚步伐》、《未成年人；しā贰ⅰ对し牢闯赡耆朔阜ǚā返 ，同时国家也提出了“清静事情职责重于泰山”、“清静第一 ，预防为主”的目的 ，同时 ，国家又建设了清静总局 ，认真天下清静事情的治理 ，这说明国家十分重视清静事情。视察显示 ，我国中小学生因交通事故、修建物坍毁、食物中毒、溺水、治安事故、暴力犯法等殒命 ，平均每一天有40多人 ，相当于每一天有一个班的学生失去他们如花的生命!楼房拥挤造成学生受伤 ，课间追逐打闹造成骨折 ，课堂上被铅笔头扎伤、实验历程中被烫伤、溺水身亡、学生打斗斗殴以及车祸等意外事故令人防不堪防。死板酷寒的数字 ，这些令人心颤的事实背后我们望见了什么呢?逝者以他们的鲜活而短暂的生命向我们提出了哪些警示呢?望西席、同砚深思!
,欧美,日韩在线视频,狼友一区二区三区在线观看,偷情小说。??时势4：久久免费无码Av级毛片
??01月07日,中国国家铁路集团有限公司总经理调整,
罗浮大泽的人郁闷了 ，原本见这个粗犷的大汉教训孩子 ，还以为他能说出什么原理呢 ，效果却是这样一番蛮话 ，这村子的人岂非都很失常吗？
,青色大脑游戏下载,张若楠被c,免费观看18禁止免费观看。??01月07日,广西冀深化与东盟合作共建“数字丝路”,
小不点眼睛发光 ，心头无比火热 ，掉臂身体上的严重伤势 ，快速冲了已往。
,火影忍者色情页面,女子张开腿让男子桶,被下人伦流澡到高潮动态图。责编：王大中
审核：拉宾德拉纳特·泰戈尔
责编：赵建新
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
