猫眼影戏
 |
|
猫眼影戏
陶兴毕
手机审查
猫眼影戏记者 闫遂凌 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑：LRST
【新智元导读】多目的（Multi-target） 以及 视觉参照（Visual Reference） 为视觉定位（Visual Grounding）使命的推理速率和性能同时带来了全新的挑战。 为相识决这一难题 ，来自UIC和Adobe的研究团队提出了VGent模子。这是一种兼顾速率与性能的？榛杓 ，旨在将模子的推理与展望能力解耦 ，并辅以多种？榛銮考苹 。最终 ，VGent依附不到16B的参数目 ，在多目的及带视觉参照的视觉定位基准（Omnimodal Referring Expression Segmentation, ORES）上 ，大幅逾越了Qwen3-VL-30B ，实现了平均+18.24 F1的重大提升！
在多模态大模子（MLLM）时代 ，视觉定位是MLLM细粒度推理能力的主要一环 ，同时也是实现人机交互和具身智能的焦点能力。
现有的解决计划主要分为两类：
原生Token派（Native-token）：像 Qwen2.5-VL 或 Ferret-v2 这样的模子 ，通过自回归（auto-regressive）的方法使用原有的词表逐个天生界线框坐标 。这种方法不但速率慢（推理时间随目的数目线性增添） ，并且在多目的场景下容易爆发幻觉（Hallucinations） ，即模子可能会在枚举完所有目的工具之前就过早阻止 ，或者在目的麋集的场景中陷入无限天生的死循环。如图一所示 ，随着目的数目的增添 ，这类要领在多目的场景下的低效和不稳固性变得尤为显着。
新增Token派（New-token）：另一类要领实验通过引入特殊的token（如[SEG]或 object token）来指代目的物。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM。因此 ，这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力。更严重的是 ，其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM（如 QwenVL系列）。
来自UIC（伊利诺伊大学芝加哥分校） 和Adobe的研究团队提出一种？榛谋嗦肫-解码器（Encoder-Decoder）架构VGent ，其焦点头脑是：将高层的语义推理交给MLLM ，将底层的像素展望交给目的检测器（detector） ，最终通过hidden state将这种解耦后的关系举行毗连。
论文地点：https://arxiv.org/abs/2512.11099
研究职员以为 ，语义推理和精准定位是两种截然差别的能力 ，强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望 ，会导致性能和效率上的权衡。
更切合直觉的方法 ，应该是由差别的组件做各自善于的事。
基于这一洞察 ，VGent提出了一种？榛谋嗦肫-解码器设计 ，使用现成的MLLM和detector将高层多模态推理与底层展望解耦。
其焦点理念在于MLLM和detector的优势是互补的：MLLM善于多模态语义对齐和推理 ，而detector则善于高效地提供精准的多目的检测框。
图一：VGent（蓝色）与现有先进的MLLM（Qwen2.5-VL ，灰色）在多目的视觉定位使命上的比照。左图显示VGent的推理时间恒定且迅速 ，而 MLLM 随目的数目增添呈线性增添 ；右图显示VGent在F1分数上实现了显著提升 ，特殊是在多目的场景下。
要领
基础架构
VGent主要由图二所示的encoder和decoder两部分组成 ，并引入了三种？榛銮炕疲ㄍ既⑺暮臀澹。
图二：VGent框架概览
如图二所示 ，左侧encoder是一个 MLLM ，使用QuadThinker来提升其多目的推理能力。冻结的encoder输出hidden states并存储下来给到decoder。右侧decoder初始化自encoder的LLM 层 ，其将detector天生的object proposal作为query ，通过cross-attention与encoder的hidden states交互。
研究职员在decoder内部新增了self-attention层（参数初始化自统一层的cross-attention） ，用于增进query之间的信息交流。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的。响应的segmentation mask则通过 prompt SAM 获得。
QuadThinker：强化多目的推理能力
针对MLLM在多目的场景下推理能力下降的问题 ，研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker ，通过设计特定的prompt和reward functions ，指导模子执行区域到全局、分步推理的历程：先划分统计图像四个象限内的目的数目 ，再汇总总数 ，最后展望详细坐标。
图三：QuadThinker所使用的prompt。
Mask-aware Label：解决检测与支解的歧义
在多目的场景中 ，检测（Box）与支解（Mask）使命的界说保存一定的差别。检测通常优化「一对一」的匹配 ，而支解则旨在召回所有远景像素。
图四：Mask-aware Label示意图 ；贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件。
这种差别导致了标注歧义：例如图四（左）中 ，检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框。
在检测使命的 IoU 标准下 ，由于挂绳的框较量小、相关于整体真值框的重叠率过低 ，往往会被看成负样本在标注阶段被过滤掉（被标上负标签）。可是关于支解使命来说 ，这个挂绳属于远景 ，其应该被标上正标签。
为此 ，VGent引入了Mask-aware Label ，使用IoA (Intersection-over-Area) 指标举行特另外标签分派。如图四（右） ，IoA通过盘算候选mask （通过proposal prompt SAM获得）与多目的真值的union mask的交集 ，并除以候选mask自身的面积获得。
由于IoA的分母是候选mask自身面积 ，该机制能精准召回那些虽然只笼罩了部分目的群（如细小的挂绳）但依然有用的 proposal。模子使用另一个自力的MLP head专门展望这种支解导向的标签 ，用于解决视觉定位中支解类型的输出。
Global Target Recognition：增强全局感知
为了提升候选框选择的准确性 ，VGent 引入了Global Target Recognition？。
图五：Global Target Recognition示意图。使用Learnable Queries注入全局目的数目信息 ，并聚合多个detector的效果以提升召回率。
为了提高召回率 ，研究职员聚合了来自多个detector的proposal形成一个统一的query set ，之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入。
这组query被专门训练用于展望目的的总数以及正样本proposal的数目。通过decoder层内的self-attention机制 ，这些包括全局统计信息的learnable query能够与proposal query举行交互 ，将「全局线索」撒播给每一个候选框 ，从而增强其对目的群体的整体明确 ，实现更精准的选择。
实验效果
研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估。
多目的视觉定位（Multi-target Visual Grounding）
图六：在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照。ORES是多目的以及保存视觉参照（w/ < mask-ref >）的视觉定位基准。
如图六所示 ，在极具挑战的ORES基准上 ，VGent 取得了全新的SOTA效果。相比之前的最佳要领RAS13B ，VGent在F1分数上实现了+20.58%的重大提升。VGent在gIoU和cIoU上都带来了显着的提升。
值得注重的是 ，纵然比照参数目更大的Qwen3-VL-30B ，VGent 依然坚持显著优势。同时 ，得益于？榛杓 ，VGent 在目的数目增添时坚持恒定且快速的推理速率 ，阻止了自回归模子随目的增添而线性增添的推理延迟（如图一所示）。
单目的视觉定位（Single-target Visual Grounding）
图七：在referring expression comprehension (REC) 上的性能比照。
VGent在古板单目的基准（RefCOCO, RefCOCO+, RefCOCOg）上也体现卓越。
VGent实现了90.1%的平均准确率 ，逾越了InternVL3.5-20B和38B等更大规模的模子 。相比其backbone (Qwen2.5-VL-7B) ，VGent带来了+3.5%的平均性能提升。
可视化
图八：VGent在差别挑战下的展望效果可视化。
VGent在重大场景中展现了极强的鲁棒性。
如图八（上）所示 ，VGent精准定位所有方形钟表 ，纵然保存大宗相似的钟表作为滋扰项 ，展现了VGent在麋集多目的场景下的优越体现。
图八（下）中 ，VGent 乐成定位了视觉参照（蓝色 mask） ，并继续推断出左侧穿裙子的女士 ，扫除了右侧的滋扰项。
参考资料：
https://arxiv.org/abs/2512.11099
秒追ASI
?点赞、转发、在看一键三连?
点亮星标 ，锁定新智元极速推送！
??时势1：国产区91在线无码
??01月07日,法润彩云南 | 踏上一列开往“国门”的普法专列,
同志们 ，档案事业远景辽阔 ，档案事情者责任重大。在市委市政府的准确向导下 ，在省档案局的指导资助下 ，以科学生长观为指导 ，同心协力、开拓立异、振奋精神、扎实事情 ，充分验展档案在全市经济社会事情中的作用 ，为现代新__建设跨越式生长做出新孝顺。
,国产精品久久久狼友。??01月07日,新一代锂电池隔膜黏合剂在湘潭研发成功,
国电开都河公司是天下500强企业中国国电集团公司下属的 ，受国电新疆电力有限公司控股和治理的下层发电公司 ，经由几年的艰辛斗争 ，公司已经生长成为一个拥有一个投产电站--察汗乌苏水电站 ，一个在建电站--柳树沟水电站和两个筹建电站--滚哈布齐勒水电站和霍尔古吐水电站的一类企业。 展望未来 ，激情满怀。站在新的起点上 ，我们将牢牢围绕中国国电集团公司集团公司“以鼎力大举生长新能源引领转型、建设一流综合性电力集团”这一战略目的 ，为把国电新疆公司建设成为海内一流水平的综合性省级能源公司 ，为开都河公司的加速生长 ，而起劲推进开都河中游水能资源开发。 由于有您的关注 ，我们的事业变得越发主要;由于有您的支持 ，我们的企业得以一直壮大。生长之路 ，任重道远 ，我们愿与各界朋侪携手共进 ，共铸新的里程!
,阿德菁玉,人人毛片,色色的网站。??时势2：老师…好紧 好湿好深
??01月07日,一季度云南风力、太阳能等发电量增幅明显 有效弥补水电下降影响,
施展好综合协调作用 ，起劲为党委一样平常事情的高效运转效劳。办公室事情处在相同上下、联系左右的枢纽位置 ，事情千头万绪 ，涉及方方面面。要施展好办公室综合协调的职能。一要周密安排。做每一项事情 ，都要坚持原则 ，严酷程序 ，环环相扣 ，搞好衔接 ，真正做到周全详尽 ，不出纰漏。特殊是对一些主要聚会和重大活动 ，要提前介入 ，做好预案 ，周密安排 ，全心组织 ，明确责任 ，狠抓落实 ，确 ＞刍帷⒒疃乘炀傩。二要高效运转。在包管质量的条件下 ，注重时效 ，只管镌汰不须要的环节 ，做到实时、迅速、不误事。要凭证“立党为公 ，执政为民”的要求 ，建设清廉高效机关 ，通过增强协调、严酷把关 ，精简聚会和文件 ，刷新会风和文风 ，确保向导同志和向导机关从“文山”、“会海”和一样平常性事务中挣脱出来 ，集中精神抓大事、抓落实。要起劲接纳现代科技手段 ，增强电子政务建设 ，一直提高事情效率。三要严酷守纪。在综合协调事情中要准确处置惩罚好原则性与无邪性的关系 ，讲政治、讲正气、讲阵势 ，在向导授权的规模内开展事情 ，注重讨教 ，不得自行其是 ，更不可凌驾于组织和向导之上 ，做违反制度的事。四是要围绕党的中心事情搞好综合协调。对内要强调顾全阵势 ，团结协作 ，对外要注重协调好方方面面的关系 ，善于调动各方面的起劲性 ，既坚持原则 ，又要注重无邪性 ，考究艺术性 ，增进办公室与各部分的团结。办公室要做好后勤包管和清静守卫事情。要把对向导效劳和对机关效劳有机统一起来 ，既确珍重点 ，又兼顾周全;要把通例清静守卫与处置惩罚紧迫突发事务连系起来 ，既包管一样平常事情之需 ，又能很好地应对很是情形。
,IPX-590,三级毛片免费在线观看视频网站,久久精品国产精品久久96。??01月07日,南方多地遭遇酷热“持久战” 浙苏沪局地突破历史极值,
身为天才 ，又带着一种野性 ，通常桀骜不驯 ，蛟鹏怎么会忍得下这口吻 ，一直憋到现在了 ，就要下手。
,av777,嗯啊不要免费视频在线观看,鸣潮3d同人漫画。??时势3：69热视频在线播放免费
??01月07日,金志扬现身北京青少年足球赛季颁奖 寄语青少年足球发展,
此时 ，他嘴角带着血 ，将雪白的须发都染红了 ，面容苍老 ，有一种深深的忧虑。
,www.123av,国产不卡av一区二区,秘 成人小说网站。??01月07日,王毅：台湾岛内谁想搞“台独” 必将受到历史和法律严惩,
它立身在一块巨石上 ，通体金光璀璨 ，有一种与生俱来的威严 ，宛若一尊金色神灵降世 ，俯视着它的子民。
?第一百四十三章 遗迹至宝,日韩一级毛一欧美一级毛免费,欧美一级A片黑人一级A片,奇优影院。??时势4：一级特黄A片免费观看不卡的视频
??01月07日,庆祝“国际志愿者日”：中国科技馆举办科技志愿服务周活动,
春风送暖, 杨柳吐翠。在这阳灼烁媚、春意盎然的日子里, 我们迎来我校第**届校园春季运动会的开幕。在此, 我代表大会组委会及学校向导对这次运动会的准期举行体现热烈祝贺!向为准备组织此次运动会而支付艰辛起劲的西席体现衷心的谢谢!向受苦训练、起劲备战的所有参赛运发动体现亲热的问候!
,高清性色生活片视频免费,军妓淫肉,老师开裆丝袜喷水免费视频。??01月07日,直击粤北洪灾一线：救援有序开展 搭起“水上通道”,
这太突然了 ，这股恐怖的实力压制了一切 ，竟定住了黄金战矛 ，消逝了石子陵身边的那头远古凶兽。
,欧美巨大粗爽91,midv中文版官网入口最新版本更新内容,戳鸡巴。责编：盖塔尼斯
审核：顾华
责编：李隐
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
