(8秒带你了解)一级a性色生活片 在线播放电脑版v34.73.86.669.40.31.62.34-2265安卓网

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

F1暴涨20分,推理速率恒定!新架构VGent:多目的定位又快又准

2026-01-08 08:45:22
泉源:

猫眼影戏

作者:

公司—德林克

手机审查

  猫眼影戏记者 双建桥 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:LRST

【新智元导读】多目的(Multi-target) 以及 视觉参照(Visual Reference) 为视觉定位(Visual Grounding)使命的推理速率和性能同时带来了全新的挑战。 为相识决这一难题,来自UIC和Adobe的研究团队提出了VGent模子。这是一种兼顾速率与性能的 ?榛杓,旨在将模子的推理与展望能力解耦,并辅以多种 ?榛銮考苹 。最终,VGent依附不到16B的参数目,在多目的及带视觉参照的视觉定位基准(Omnimodal Referring Expression Segmentation, ORES)上,大幅逾越了Qwen3-VL-30B,实现了平均+18.24 F1的重大提升!

在多模态大模子(MLLM)时代,视觉定位是MLLM细粒度推理能力的主要一环,同时也是实现人机交互和具身智能的焦点能力。

现有的解决计划主要分为两类:

原生Token派(Native-token):像 Qwen2.5-VL 或 Ferret-v2 这样的模子,通过自回归(auto-regressive)的方法使用原有的词表逐个天生界线框坐标 。这种方法不但速率慢(推理时间随目的数目线性增添),并且在多目的场景下容易爆发幻觉(Hallucinations),即模子可能会在枚举完所有目的工具之前就过早阻止,或者在目的麋集的场景中陷入无限天生的死循环。如图一所示,随着目的数目的增添,这类要领在多目的场景下的低效和不稳固性变得尤为显着。

新增Token派(New-token):另一类要领实验通过引入特殊的token(如[SEG]或 object token)来指代目的物。他们需要网络大规模的数据集、从LLM起重新构建一个能明确这些新增token的MLLM。因此,这种要领不可阻止地会破损LLM在预训练阶段获得的通用推理能力。更严重的是,其导致无法直接使用现有的、先进的、举行了更大规模预训练的开源MLLM(如 QwenVL系列)。

来自UIC(伊利诺伊大学芝加哥分校) 和Adobe的研究团队提出一种 ?榛谋嗦肫-解码器(Encoder-Decoder)架构VGent,其焦点头脑是:将高层的语义推理交给MLLM,将底层的像素展望交给目的检测器(detector),最终通过hidden state将这种解耦后的关系举行毗连。

论文地点:https://arxiv.org/abs/2512.11099

研究职员以为,语义推理和精准定位是两种截然差别的能力,强迫训练一个简单的整体模子去同时醒目笼统的语义推理和像素级别的底层展望,会导致性能和效率上的权衡。

更切合直觉的方法,应该是由差别的组件做各自善于的事。

基于这一洞察,VGent提出了一种 ?榛谋嗦肫-解码器设计,使用现成的MLLM和detector将高层多模态推理与底层展望解耦。

其焦点理念在于MLLM和detector的优势是互补的:MLLM善于多模态语义对齐和推理,而detector则善于高效地提供精准的多目的检测框。

图一:VGent(蓝色)与现有先进的MLLM(Qwen2.5-VL,灰色)在多目的视觉定位使命上的比照。左图显示VGent的推理时间恒定且迅速,而 MLLM 随目的数目增添呈线性增添 ;右图显示VGent在F1分数上实现了显著提升,特殊是在多目的场景下。

要领

基础架构

VGent主要由图二所示的encoder和decoder两部分组成,并引入了三种 ?榛銮炕疲ㄍ既⑺暮臀澹。

图二:VGent框架概览

如图二所示,左侧encoder是一个 MLLM,使用QuadThinker来提升其多目的推理能力。冻结的encoder输出hidden states并存储下来给到decoder。右侧decoder初始化自encoder的LLM 层,其将detector天生的object proposal作为query,通过cross-attention与encoder的hidden states交互。

研究职员在decoder内部新增了self-attention层(参数初始化自统一层的cross-attention),用于增进query之间的信息交流。 最终的输出举行yes / no的二元判断来选择每个proposal是否属于目的。响应的segmentation mask则通过 prompt SAM 获得。

QuadThinker:强化多目的推理能力

针对MLLM在多目的场景下推理能力下降的问题,研究职员提出了一种基于 GRPO 的强化学习训练范式QuadThinker,通过设计特定的prompt和reward functions,指导模子执行区域到全局、分步推理的历程:先划分统计图像四个象限内的目的数目,再汇总总数,最后展望详细坐标。

图三:QuadThinker所使用的prompt。

Mask-aware Label:解决检测与支解的歧义

在多目的场景中,检测(Box)与支解(Mask)使命的界说保存一定的差别。检测通常优化「一对一」的匹配,而支解则旨在召回所有远景像素。

图四:Mask-aware Label示意图 ;贗oA的标签分派战略能召回被古板IoU忽略的细粒度部件。

这种差别导致了标注歧义:例如图四(左)中,检测器可能将「鹿头装饰」与其「挂绳」视为两个自力的框。

在检测使命的 IoU 标准下,由于挂绳的框较量小、相关于整体真值框的重叠率过低,往往会被看成负样本在标注阶段被过滤掉(被标上负标签)。可是关于支解使命来说,这个挂绳属于远景,其应该被标上正标签。

为此,VGent引入了Mask-aware Label,使用IoA (Intersection-over-Area) 指标举行特另外标签分派。如图四(右),IoA通过盘算候选mask (通过proposal prompt SAM获得)与多目的真值的union mask的交集,并除以候选mask自身的面积获得。

由于IoA的分母是候选mask自身面积,该机制能精准召回那些虽然只笼罩了部分目的群(如细小的挂绳)但依然有用的 proposal。模子使用另一个自力的MLP head专门展望这种支解导向的标签,用于解决视觉定位中支解类型的输出。

Global Target Recognition:增强全局感知

为了提升候选框选择的准确性,VGent 引入了Global Target Recognition ?。

图五:Global Target Recognition示意图。使用Learnable Queries注入全局目的数目信息,并聚合多个detector的效果以提升召回率。

为了提高召回率,研究职员聚合了来自多个detector的proposal形成一个统一的query set,之后引入了特另外 learnable queries与这些proposal queries拼接作为decoder的输入。

这组query被专门训练用于展望目的的总数以及正样本proposal的数目。通过decoder层内的self-attention机制,这些包括全局统计信息的learnable query能够与proposal query举行交互,将「全局线索」撒播给每一个候选框,从而增强其对目的群体的整体明确,实现更精准的选择。

实验效果

研究职员在最新的多目的视觉定位基准 ORES (MaskGroups-HQ) 以及古板的单目的数据集上举行了普遍评估。

多目的视觉定位(Multi-target Visual Grounding)

图六:在 Omnimodal Referring Expression Segmentation (ORES) 上的性能比照。ORES是多目的以及保存视觉参照(w/ < mask-ref >)的视觉定位基准。

如图六所示,在极具挑战的ORES基准上,VGent 取得了全新的SOTA效果。相比之前的最佳要领RAS13B,VGent在F1分数上实现了+20.58%的重大提升。VGent在gIoU和cIoU上都带来了显着的提升。

值得注重的是,纵然比照参数目更大的Qwen3-VL-30B,VGent 依然坚持显著优势。同时,得益于 ?榛杓,VGent 在目的数目增添时坚持恒定且快速的推理速率,阻止了自回归模子随目的增添而线性增添的推理延迟(如图一所示)。

单目的视觉定位(Single-target Visual Grounding)

图七:在referring expression comprehension (REC) 上的性能比照。

VGent在古板单目的基准(RefCOCO, RefCOCO+, RefCOCOg)上也体现卓越。

VGent实现了90.1%的平均准确率,逾越了InternVL3.5-20B和38B等更大规模的模子 。相比其backbone (Qwen2.5-VL-7B),VGent带来了+3.5%的平均性能提升。

可视化

图八:VGent在差别挑战下的展望效果可视化。

VGent在重大场景中展现了极强的鲁棒性。

如图八(上)所示,VGent精准定位所有方形钟表,纵然保存大宗相似的钟表作为滋扰项,展现了VGent在麋集多目的场景下的优越体现。

图八(下)中,VGent 乐成定位了视觉参照(蓝色 mask),并继续推断出左侧穿裙子的女士,扫除了右侧的滋扰项。

参考资料:

https://arxiv.org/abs/2512.11099

秒追ASI

?点赞、转发、在看一键三连?

点亮星标,锁定新智元极速推送!

??时势1:精品微拍国产人成爱视频

??01月08日,(身边的变化)躬身农田30年 内蒙古“农技人”田间问诊开“良方”,

  “吼!”

,www久久精品视频。

??01月08日,世界青年“蓉”耀汤尤杯 点赞成都城市活力,

  谢谢列位

,男女又爽 又黄 3D免费软件,亚洲爆乳性爱三级片,91乱淫视频。

??时势2:超碰在线妓女

??01月08日,全球市场竞争促进供需动态均衡——客观辩证看待产能问题之三,

  另一片大地上,同样城廓诸多,生齿也足有数万万,这是另一个王侯的领地,雄伟而重大的王宫中,隆隆雷鸣响起,震的许多铁甲兵卫颤抖,险些要跪倒在地上。

,jiazz113,秘 成人小说网站,黄色www在线有限公司。

??01月08日,水利部印发2024年水旱灾害防御工作要点,

  (三)做好农村低保事情是我县周全建设小康社会的客观要求。我县自然条件差,历史欠账大,贫困面还较量宽。现在,全县未脱贫生齿尚有5万人,五保工具3500人,年人均纯收入在693元以下的尚有2.7万人,他们的生涯还相当难题,加之我县自然灾难频发,每年因种种灾难需要救助的人许多,救助工具多,且栖身疏散,包管资金发放难度大。要周全建设小康社会,就必需率先解决贫困群众的基本生涯问题。实验农村低保制度,对因病、残疾、年迈体弱等缘故原由损失或部分损失劳动能力的贫困生齿,给予稳固的生涯救援,包管农民群众逐步过上宽裕的生涯,既有利于增进农村经济生长,又有利于农村社会稳固。因此,各州里各有关部分一定要充分熟悉实验农村低保的主要意义,将其作为目今农村事情中的一项主要使命,下定刻意,加大投入,扎实推进。要通过深入详尽的事情,规范程序,公正效劳,起劲让最需要包管的人都能享受到低保政策的阳光。

,久久麻豆视频,黄色无码啪啪视频,95视频网站免费入口。

??时势3:王芳的快乐生活小说

??01月08日,快递保鲜费引争议,平价服务能否搅动市场?,

  “小不点今天到大婶家去吃烤肉。”

,性交真人运动免费黄色片子,伊人网狼人,人妻密室監禁調教ドキュメント... - laosptv.xyz - 色批佬 - 防封地址 - 牢记。

??01月08日,京津冀河南山东等地有高温 江南华南等地有持续性较强降雨,

  他手中止剑如一轮燃烧的太阳,耀眼无比,剑气一道接着一道的喷薄而出,光余波就足以削平山峰。

?第二百一十九章 横推,天堂干屄免费视频,A片做受视频免费看,天堂天码Av影视亚洲无毒不卡。

??时势4:巨大欧美 BV

??01月08日,西藏:马术表演为雪顿节添彩,

  俗话说得好:先成人,后成才。有人说:智育缺乏格的人是次品,体育缺乏格的人是废品,德育缺乏格的人是危险品。简直是这样的,在竞争强烈的现代社会,仅仅有点效果、有点才华还不敷,只有具备了优美的品行、高尚的情操,才华拥有灼烁的前途。因此,我们要以《中学生守则》、《中学生一样平常行为规范》以及《鸿桥中学学生一日通例》为行为准则,时时随办事事严酷要求自己。同砚们,你们只要一直地剖解自我,严以律己,规范自己各方面的行为,就一定能使自己在新的学期里获得可喜的前进。

,欧美黑人XXXX性高清版,爱乃娜美视频在线播放视频,扌斗阝月旧版本。

??01月08日,【高质量发展调研行】世遗景迈山:林茶共生 人地和谐,

  为了使项目建设以及党建、精神文昭树模点建设等难点、重点事情得以顺遂推行,以开展机关作风建设活动为契机,普遍推行首问责任制、限时办结制、标示效劳制、过错追究制等相关制度,着力解决向导干部在头脑、事情、生涯、作风方面保存的突出问题。通过重新修订事情制度和事情纪律,充分使用种种聚会进一步增强三级干部教育,牢靠树立“有为才有位”的头脑理念,提高干部干实事、解难题、处置惩罚重大问题的能力。各项事情的推动,既定目的使命能不可准期实现,要害在人,要害在我们的墟落干部。因此,就要在继续抓好头脑、组织、作风建设的同时,抓好干步队伍建设,为各项事情目的的周全落实提供顽强有力的组织包管 ?梢钥隙ǖ亟,我们的墟落向导干部绝大部分是顽强有力、真抓实干的,是政治上可靠,事情上有本事,作风上过得硬,群众信任,事情务实的。近年来,全乡经济生长之以是取得显著效果,也正说明晰这一点。各村、各单位要从增强党的执政能力建设的高度出发,从解决难缠事、棘手问题和看待人民群众的态度、情绪上转变作风,至心实意地资助解决群众生爆发涯中的难题和问题。要从现在我们正在做的每一件事情和每一项事情上转变作风,多找事,多想罗城的生长,少谋私利,多一点务实精神,少一点形式主义,靠前指挥、一线实干,做到勤劳不 ;,认真不推诿,忠实不说谎,实干不怕苦和累,要始终坚持优异的精神状态,勇于争创一流,一直开立异时势,取得新效果。

,综合一区在线视频,PeterLee大雕照片,日小女人。

【南海西北陆坡一号二号沉船分布范围已探明 提取文物928件套】

【抓住历史机遇 共创美好未来(观沧海)】

责编:刘兴欢

审核:刘世明

责编:维斯布鲁克

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图