首页
下载APP
首页
随着多模态大语言模子（MLLM）的飞速生长 ，能够像人类一样通过视觉输入操作图形用户界面（GUI）的智能体（Agent）正逐渐成为现实。然而 ，在通往通用盘算机控制的蹊径上 ，怎样让模子精准地将自然语言指令对应到屏幕上的详细元素 —— 即 GUI Grounding 使命 ，依然是一浩劫题。
现有的要领 ，特殊是基于验证奖励的强化学习（RLVR） ，虽然在提升 “指得准”（空间对齐）方面体现精彩 ，却往往在 “指得对”（语义对齐）上遭遇瓶颈。模子经常陷入 “自信陷阱” ，在重大的语义场景下无法通过有用探索找到准确的功效图标。
针对这一痛点 ，来自浙江大学、香港理工大学及 InfiX.ai 的研究团队提出了一种全新的自顺应探索战略优化框架（AEPO） ，并推出了InfiGUI-G1系列模子。该模子通过多谜底天生与自顺应奖励机制 ，彻底突破了古板 RLVR 的探索瓶颈。仅凭 3B 和 7B 的参数目 ，InfiGUI-G1 便在多个高难度 GUI 基准测试中刷新了 SOTA ，部分指标甚至大幅逾越了闭源模子。
本文将深入先容这项被 AAAI 2026 吸收为 Oral 的事情 ，解读其怎样通过 “学会探索” 来实现更精准的 GUI 语义明确。
论文问题：InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization论文链接：https://arxiv.org/abs/2508.05731代码链接：https://github.com/InfiXAI/InfiGUI-G1
从 “空间对齐” 到 “语义对齐”：被忽视的探索瓶颈
GUI Grounding 使命的焦点是将自然语言指令（如 “翻开相机”）映射到屏幕上的特定元素坐标。研究团队指出 ，这一使命可以解构为两个正交的维度：
1. 空间对齐（Spatial Alignment）：能否准确地定位到元素（即 “指得准”）。
2. 语义对齐（Semantic Alignment）：能否识别出功效准确的元素（即 “指得对”）。
现有的 RLVR 要领（如 Naive RLVR）虽然能通过优化坐标天生来提升定位精度 ，但在面临语义模糊或重大的指令时却显得力有未逮。
例如 ，当指令是 “使用相机搜索物体” 时 ，屏幕上可能同时保存通俗的 “相机应用” 和具有视觉搜索功效的 “Google Lens”。缺乏深度语义明确的模子往往会自信地死磕 “相机应用” 图标。由于古板 RL 依赖目今战略采样 ，模子会一直重复这个高置信度的过失 ，陷入“自信陷阱”（Confidence Trap） ，从而无法发明真正准确的 “Google Lens” 图标 ，导致无法获得修正语义误解所需的学习信号。
GUI Grounding 的主要失败模式： (a) 空间对齐失败 ，(b) 语义对齐失败
InfiGUI-G1：自顺应探索战略优化（AEPO）
为相识决这一探索效率低下的问题 ，InfiGUI-G1 引入了AEPO（Adaptive Exploration Policy Optimization）框架。与古板的单次回覆天生差别 ，AEPO 旨在通过更普遍且高效的探索来捕获低概率但准确的选项。
AEPO 框架由三个协同事情的焦点组件组成：
1.多谜底天生气制（Multi-Answer Generation）古板的 RL 要领通常只采样一个行动 ，一旦模子 “顽强己见” 地选错 ，梯度的学习信号就会消逝。AEPO 强制模子在一次前向转达中天生 N 个候选坐标点。这一机制迫使模子跳出简单的高置信度展望 ，去探索战略漫衍长尾中的可能性 ，从而大幅增添了发明准确谜底（如上述例子中的 Google Lens）的概率。
2.自顺应探索奖励（Adaptive Exploration Reward, AER）仅仅天生多个谜底是不敷的 ，怎样评价这些谜底的质量至关主要。研究团队基于效率第一性原理（效率 = 效用 / 本钱）设计了 AER 函数。
动态激励：若是模子在靠前的排名（Rank k）就找到了准确谜底 ，给予高额奖励 ；若是失败 ，则给予较小的处分以勉励继续探索。这种非线性的奖励设计在失败时勉励模子 “广撒网” ，在乐成时指导模子追求 “快准狠” ，实现了探索与使用的动态平衡。
3.共线处分（Collinear Penalty）为了避免模子通过天生近似直线的点来 “作弊”（简朴的线性扫描战略） ，研究引入了共线处分。若是天生的多个候选点在几何上近似共线 ，将被视为低质量探索并受到严肃处分。这强制模子在语义空间而非纯粹的几何空间中举行多样化探索。
AEPO 与 Naive 强化学习基准要领的比照
实验效果：小参数目实现性能越级
研究团队在 MMBench-GUI、ScreenSpot-Pro、UI-Vision 等五个极具挑战性的基准上对 InfiGUI-G1（3B 和 7B 版本）举行了周全评估。
1.综合性能周全领先：在 MMBench-GUI 基准测试中 ，InfiGUI-G1-7B 在 Windows、iOS、Android 等多个平台上的体现均刷新了开源模子的最佳效果。值得注重的是 ，InfiGUI-G1-7B 在部分指标上甚至优于参数目大得多的 Qwen2.5-VL-72B 和闭源模子 GPT-4o。
2.攻克高难度语义明确使命ScreenSpot-Pro 基准专门区分了文本类（Text）和图标类（Icon）使命。效果显示 ，InfiGUI-G1 在更依赖语义明确的 “图标” 使命上提升尤为显着。这直接证实晰 AEPO 战略有用解决了语义对齐的瓶颈 ，让模子真正 “看懂” 了笼统图标背后的功效寄义 ，而不但仅是举行简朴的文本匹配。
3.让 “不可学习” 变得 “可学习”为了验证 AEPO 是否真的解决了探索难题 ，研究团队将样本按难度分为简朴、中等和难题。实验发明 ，InfiGUI-G1 在 “难题” 样本（即基座模子险些无法答对的样本）上的提升最为重大 ，相对 Naive RLVR 基线提升了凌驾60%。这意味着 AEPO 乐成挖掘出了那些以往因缺乏探索而被模子 “放弃” 的长尾知识。
ScreenSpot-Pro 基准测试的性能比照
总结与展望
InfiGUI-G1 的乐成批注 ，GUI 智能体的性能瓶颈不但仅在于视觉识别能力 ，更在于怎样通过有用的强化学习战略来解决语义对齐问题。通过引入自顺应探索机制 ，InfiGUI-G1 以极高的数据效率和较小的模子规模 ，实现了逾越大模子的 GUI Grounding 能力。这项事情为未来开发更通用、更智能的 GUI 交相助手提供了坚实的手艺基础。
现在 ，InfiGUI-G1 的代码、模子权重及相关资源已在 GitHub 开源 ，接待社区进一步研究与使用。
《欧美精品视频在线观看你懂的》 ，《Q8X2R7L1T4J5M9B6W3》少萝裸体 网站蓝苺
“你懂的自拍偷拍网站”
色网站在线免费观看
……
01月07日
“变性人的尿孔图片”Re0第四集女主险被反派看光
↓↓↓
01月07日 ，江苏人均预期寿命达79.7岁居全国前列 ，欧美一级婬片A片久久精品观看 ，18 视频软件 ，www.91在线国产精品 ，国产精品第页
01月07日 ，朝鲜劳动党中央委员会政治局决定召开八届十一中全会 ，另类小说区图片区人妻系列 ，羞羞影院 ，原神角色裸体 开腿羞羞视频 ，十八禁 同人本子片
01月07日 ，聊什么就推什么！手机App越来越“懂你” 精准推送背后藏着哪些秘密？ ，www.riav.5.99 ，黄页网站大全虎骚视频 ，国产小视频你懂的 ，国产第一页浮力影院草草影视院
01月07日|“赞米亚”学说是什么，为什么反对它？｜“正道”专栏之②|黄视频在线网站|精品国产91在线直播|AAAA级毛片免费视频|久久久久国产精品片区无码
01月07日|（经济观察）重庆如何建世界级智能网联新能源汽车产业集群？|无码国产偷倩在线播放2021|中文字幕黄色网站|高潮娇喘嗯啊～视频在线观看免费|久久免费A级毛片高清在钱
01月07日|寒潮降温持续 广西各部门“闻雪而动”保障民众生活|黑大粗硬国外一级A片|一级黄片特级黄片|91探花在线|SEO Dog绅士论坛最新版本功能……
01月07日 ，韩媒：发布紧急戒严令后，尹锡悦好评率跌至13% ，色色色色的看片 ，性爱偷拍网站 ，双男主电视剧腐剧 ，久久久久久久久久
01月07日 ，巨头拆墙 腾讯抖音互通边界 ，爆乳美女啪啪 ，被插到高潮视频 ，911欧洲精品第一 ，亚洲日韩视频一区
01月07日|外交部：中国愿同联合国人权机制开展建设性交流与合作|国产av综合|免费观看黄色视频网址|狼友在线精品视频网站|免费性爱网站
01月07日 ，影游跨界融合催生国漫新动力 ，最新先锋影音资源网址 ，spinking实践OTK ，国产欧美日韩第一页在线观看 ，人人操人人人人人人操人人人人操
01月07日 ，61名韩国青年友好使者访青 搭建友谊合作桥梁 ，3dmax动漫陆雪琪 ，爆❌喷水❌洗澡❌暗夜视频 ，色色色色色五 ，黑人巨大最猛在线播放视频
01月07日 ，四川康定“8·03”山洪泥石流灾害：智能遥控无人挖掘机及时清除危险气罐 ，看片在线视频网站 ，一级a做受免费视频一免费 ，黄业在线 ，中文字幕第一页在线日本
01月07日|《海南省陆生野生动物及其栖息地保护规划(2024-2030年)》公开征求意见|天天视频官网,国产精品|黄色a片免a黄色片|18禁色情👅❤️在线搜索|亚洲国产日韩a在线欧美人妖
01月07日|山西加强煤矿水害防治工作 提升治理水平|麻豆精品原创在线导航|殴美在线男女互操星氏|91网无码在线视频|国产免费福利在线视频
01月07日|日本震区半个月有感地震达1400多次|黄色视频公司在线|亚洲欧美激情在线一区|亚洲乱码日本一区二区产线一区|a片官网
宜家 向价格战低头 ，李湘宣布退休后又复工|深港金融“六联通”成果丰|黄页网站在线观看免费视频公开|操逼,com|摸操干|欧美老妇人性爱bbbwww
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
香港特首：洪水桥站及北环线将发挥北部都会区作为经济新引擎潜力
布局“长远”？ 美国把欧洲往火坑里推
“中巴青年故事会”：云端展“看中国”万千气象
“铸牢共同体 中华一家亲”主题宣传“八桂大地展新颜”集中采访启动
公安部交管局：今年春运全社会跨区域人员流动量将创新高
我驻韩使馆确认京畿道车祸事故中有3名中国公民遇难
智能快递柜为何不“香”了
国际识局：这场“不亚于美国总统大选的选举”，特朗普又赢了
天津多举措推动基层健康发展 提升群众就医安全感
Keep与OPPO达成战略合作，智能硬件+AI大模型赋能运动健康领域
性无码区
激情性爱小说视频
在线91日韩精品
欧洲毛片视频免费观看
女性自慰 免费观看
黄色小说综合网
嘘!别告沂MaMa
色欲aⅤ
白丝少女自慰
91变态冷sir调教高三奴
闽公网安备 35010302000113号