男艹女视频网站,专为热爱品质生活的你打造,每一次点击都是新的惊喜

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

AAAI 2026 Oral|InfiGUI-G1模子来了,刷新GUI Grounding SOTA

2026-01-09 22:37:17
泉源:

猫眼影戏

作者:

邹世龙

手机审查

  猫眼影戏记者 陈清祖 报道Q8X2R7L1T4J5M9B6W3

随着多模态大语言模子(MLLM)的飞速生长,能够像人类一样通过视觉输入操作图形用户界面(GUI)的智能体(Agent)正逐渐成为现实。然而,在通往通用盘算机控制的蹊径上,怎样让模子精准地将自然语言指令对应到屏幕上的详细元素 —— 即 GUI Grounding 使命,依然是一浩劫题。

现有的要领,特殊是基于验证奖励的强化学习(RLVR),虽然在提升 “指得准”(空间对齐)方面体现精彩,却往往在 “指得对”(语义对齐)上遭遇瓶颈。模子经常陷入 “自信陷阱”,在重大的语义场景下无法通过有用探索找到准确的功效图标。

针对这一痛点,来自浙江大学、香港理工大学及 InfiX.ai 的研究团队提出了一种全新的自顺应探索战略优化框架(AEPO),并推出了InfiGUI-G1系列模子。该模子通过多谜底天生与自顺应奖励机制,彻底突破了古板 RLVR 的探索瓶颈。仅凭 3B 和 7B 的参数目,InfiGUI-G1 便在多个高难度 GUI 基准测试中刷新了 SOTA,部分指标甚至大幅逾越了闭源模子。

本文将深入先容这项被 AAAI 2026 吸收为 Oral 的事情,解读其怎样通过 “学会探索” 来实现更精准的 GUI 语义明确。

论文问题:InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization论文链接:https://arxiv.org/abs/2508.05731代码链接:https://github.com/InfiXAI/InfiGUI-G1

从 “空间对齐” 到 “语义对齐”:被忽视的探索瓶颈

GUI Grounding 使命的焦点是将自然语言指令(如 “翻开相机”)映射到屏幕上的特定元素坐标。研究团队指出,这一使命可以解构为两个正交的维度:

1. 空间对齐(Spatial Alignment):能否准确地定位到元素(即 “指得准”)。

2. 语义对齐(Semantic Alignment):能否识别出功效准确的元素(即 “指得对”)。

现有的 RLVR 要领(如 Naive RLVR)虽然能通过优化坐标天生来提升定位精度,但在面临语义模糊或重大的指令时却显得力有未逮。

例如,当指令是 “使用相机搜索物体” 时,屏幕上可能同时保存通俗的 “相机应用” 和具有视觉搜索功效的 “Google Lens”。缺乏深度语义明确的模子往往会自信地死磕 “相机应用” 图标。由于古板 RL 依赖目今战略采样,模子会一直重复这个高置信度的过失,陷入“自信陷阱”(Confidence Trap),从而无法发明真正准确的 “Google Lens” 图标,导致无法获得修正语义误解所需的学习信号。

GUI Grounding 的主要失败模式: (a) 空间对齐失败,(b) 语义对齐失败

InfiGUI-G1:自顺应探索战略优化(AEPO)

为相识决这一探索效率低下的问题,InfiGUI-G1 引入了AEPO(Adaptive Exploration Policy Optimization)框架。与古板的单次回覆天生差别,AEPO 旨在通过更普遍且高效的探索来捕获低概率但准确的选项。

AEPO 框架由三个协同事情的焦点组件组成:

1.多谜底天生气制(Multi-Answer Generation)古板的 RL 要领通常只采样一个行动,一旦模子 “顽强己见” 地选错,梯度的学习信号就会消逝。AEPO 强制模子在一次前向转达中天生 N 个候选坐标点。这一机制迫使模子跳出简单的高置信度展望,去探索战略漫衍长尾中的可能性,从而大幅增添了发明准确谜底(如上述例子中的 Google Lens)的概率。

2.自顺应探索奖励(Adaptive Exploration Reward, AER)仅仅天生多个谜底是不敷的,怎样评价这些谜底的质量至关主要。研究团队基于效率第一性原理(效率 = 效用 / 本钱)设计了 AER 函数。

动态激励:若是模子在靠前的排名(Rank k)就找到了准确谜底,给予高额奖励;若是失败,则给予较小的处分以勉励继续探索。这种非线性的奖励设计在失败时勉励模子 “广撒网”,在乐成时指导模子追求 “快准狠”,实现了探索与使用的动态平衡。

3.共线处分(Collinear Penalty)为了避免模子通过天生近似直线的点来 “作弊”(简朴的线性扫描战略),研究引入了共线处分。若是天生的多个候选点在几何上近似共线,将被视为低质量探索并受到严肃处分。这强制模子在语义空间而非纯粹的几何空间中举行多样化探索。

AEPO 与 Naive 强化学习基准要领的比照

实验效果:小参数目实现性能越级

研究团队在 MMBench-GUI、ScreenSpot-Pro、UI-Vision 等五个极具挑战性的基准上对 InfiGUI-G1(3B 和 7B 版本)举行了周全评估。

1.综合性能周全领先:在 MMBench-GUI 基准测试中,InfiGUI-G1-7B 在 Windows、iOS、Android 等多个平台上的体现均刷新了开源模子的最佳效果。值得注重的是,InfiGUI-G1-7B 在部分指标上甚至优于参数目大得多的 Qwen2.5-VL-72B 和闭源模子 GPT-4o。

2.攻克高难度语义明确使命ScreenSpot-Pro 基准专门区分了文本类(Text)和图标类(Icon)使命。效果显示,InfiGUI-G1 在更依赖语义明确的 “图标” 使命上提升尤为显着。这直接证实晰 AEPO 战略有用解决了语义对齐的瓶颈,让模子真正 “看懂” 了笼统图标背后的功效寄义,而不但仅是举行简朴的文本匹配。

3.让 “不可学习” 变得 “可学习”为了验证 AEPO 是否真的解决了探索难题,研究团队将样本按难度分为简朴、中等和难题。实验发明,InfiGUI-G1 在 “难题” 样本(即基座模子险些无法答对的样本)上的提升最为重大,相对 Naive RLVR 基线提升了凌驾60%。这意味着 AEPO 乐成挖掘出了那些以往因缺乏探索而被模子 “放弃” 的长尾知识。

ScreenSpot-Pro 基准测试的性能比照

总结与展望

InfiGUI-G1 的乐成批注,GUI 智能体的性能瓶颈不但仅在于视觉识别能力,更在于怎样通过有用的强化学习战略来解决语义对齐问题。通过引入自顺应探索机制,InfiGUI-G1 以极高的数据效率和较小的模子规模,实现了逾越大模子的 GUI Grounding 能力。这项事情为未来开发更通用、更智能的 GUI 交相助手提供了坚实的手艺基础。

现在,InfiGUI-G1 的代码、模子权重及相关资源已在 GitHub 开源,接待社区进一步研究与使用。

??时势1:小俊┅┅快┅┅用力啊福林视频

??01月09日,【台青在大陆】“00后”台青倾心中国舞 踱步间尽显文化传承,

  “砰”的一声,一只金色的同党坠地,将山石都砸裂了,这是一只半血鹏翅,比铁石都坚硬,拥有无量神性英华。

,私人影院一级A。

??01月09日,河南平顶山煤矿事故涉事煤矿党委书记、矿长被免职,

  二是作风不实。 就镇干部来讲,主要保存着:少数同志事情无原则,怕触及矛盾,怕冒监犯,遇到问题绕道走;少数同志作风不实,事情深不进、沉不下、浮在外貌,做事只开头,不收尾,往往每做一件事,都要留下一系列的后遗症;少数同志专门研究处世哲学,思量到怎么拉关系,结因缘,习惯做外貌文章,向导在是一个样,向导不在是一个样; 少数同志热衷于寻衅是非,寻衅向导与下属的是非,寻衅向导与向导之间的是非,寻衅同志与同志之间的是非;有的人在事情中热衷于当“视察家”,做“谈论员”,总喜欢对人家做人做事说长道短;有的人热衷于散布小道新闻,一天到晚餍饫终日,不知干什么事,无事生非,造谣生事。 少数同志心态不正,心里总有怨气,总是这也看不惯,那也不顺眼,把党委、政府的决议,看成耳边风;尚有少数同志,事情不思进取,上班时间不长,但不良民俗学得许多,政策不学、营业不钻、图享受、怕受苦。

,91精品秘 无码一区二区山手,美女裸体超逼,www.搓逼视频,无遮挡.com。

??时势2:日韩直接进入黄网站

??01月09日,稀有新发现!云南这一保护区首次看到鹰雕出没宁波制造受RCEP市场青睐 三项指标创同期新高,

开学学校向导讲话 篇5

,www.欧美日韩五码在线,www.17.C,性无码专区无码最新地址。

??01月09日,阿富汗两省省会发生爆炸,

  小孤山镇陷入恐慌之中,末日来临,所有人都在逃命,可却发明没有戮由走,人们绝望地怒啸。

,操美女污视频网站在线观看,美国一级黄色片网站,无码国产人XXXXX在线观看。

??时势3:色水在线

??01月09日,香港中国学术紫荆论坛在港举办 专家学者共论“新质生产力”,

  美国着名的黑人民权运动首脑马丁·路德金发演出讲:“我梦想有一天,我的四个孩子将生涯在一个不是以他们的肤色,而是以他们的品质优劣来评价他们的国家里。”

,美女黄频,国产妓女一级A片在线,男人和女人相互露隐私视频。

??01月09日,黑龙江哈尔滨:多彩民俗活动迎“二月二”,

  一是理论基础获得夯实。 通过政治理论专题的学习,使我们进一步加深了对xx大、科学发观和中国特色社会主义的熟悉和明确,升华了同志们的政治理论和头脑熟悉。在这次培训班上,各人系统地学习了中国特色社会主义和农村经济理论,填补了平时缺乏周全、系统学习理论知识的缺憾,进一步提高了理论素质。特殊是通过连系我镇现实,学习墟落经济理论后,对我镇以致中央在以后一段时期的农村政策及解决“三农”问题,实现农民增收有了新的看法。

,ai换脸成人视频,JamesCabelloAnimations像素,色欲无码综合视频一区二区。

??时势4:我使劲挺进了她的下身视频

??01月09日,两岸外贸和物流专家厦门共探经贸合作新机遇,

  (一)城镇化生长是天下性的潮流。马克思关于近代天下有两句很著名的话:“资笔器义在已往三百年里所创立的财产,凌驾了人类历史创立的财产总和。”其焦点意思是说英国工业革命后的三百多年,资笔器义生长是通过工业化创立了财产事业。马克思尚有另一句话:“现代历史就是墟落都会化的历程。”其实质是说城镇化就是生齿由于工业发动向都墟市中的历史历程,而城镇化生长是现代社会的生长潮流。现在蓬勃国家都走过了城镇化历程,以老牌资笔器义国家英国为例,从1640年工业革命到1850年,都会生齿凌驾了75%,基本实现了都会化;美国的都会化从1840年最先起步,到1970年都会化率凌驾了73%;二战以后,也尚有一些国家实现了都会化,好比日本,时间都会化水平只有7%,可是到1973年就抵达了70%。我国在1949年的时间都会化水平只有10%,到1976年的时间也只有12.8%,20xx年就抵达了52%。工业化创立财产,城镇化积累财产,越是都会化水平高的地方,越是财产集中的地方。现在的珠三角、长三角、京津地区,既是天下城镇化水平最高的地方,也是最群集财产的区域。张掖要实现经济社会的生长转型,只有紧跟历史潮流,才华有科学的转型、合理的转型和快速的转型。

,欧美性爱三级片未删版免费,视频一区视频二区国产激情,扒开双腿舔吸奶水爽的大叫。

??01月09日,宣布同台湾“断交”,瑙鲁是个怎样的国家?,

  城门大开,一群强者冲了出来,在后面兜着屁股追杀,一簇簇箭羽成四十五度角抛射向高空,此后落向凶禽猛兽间,马上血液迸溅,留下一具又一具尸骸。

,干熟女视频,文霖射进生殖腔,吃小头头蓝莓视频。

【山西供电部门多举措应对降雪天气 特巡检修同步开展】

【中国红十字会总会组织开展新疆7.1级地震灾害救援】

责编:郭舒帆

审核:努里·马利基

责编:韩振

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图