(7分钟带你了解)人人干日日干人人操鸿蒙版v38.30.19.85.0.83.10-2265安卓网

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

AAAI 2026 Oral|InfiGUI-G1模子来了  ,刷新GUI Grounding SOTA

2026-01-07 18:48:50
泉源:

猫眼影戏

作者:

杨昌斌

手机审查

  猫眼影戏记者 黄介生 报道Q8X2R7L1T4J5M9B6W3

随着多模态大语言模子(MLLM)的飞速生长  ,能够像人类一样通过视觉输入操作图形用户界面(GUI)的智能体(Agent)正逐渐成为现实。然而  ,在通往通用盘算机控制的蹊径上  ,怎样让模子精准地将自然语言指令对应到屏幕上的详细元素 —— 即 GUI Grounding 使命  ,依然是一浩劫题。

现有的要领  ,特殊是基于验证奖励的强化学习(RLVR)  ,虽然在提升 “指得准”(空间对齐)方面体现精彩  ,却往往在 “指得对”(语义对齐)上遭遇瓶颈。模子经常陷入 “自信陷阱”  ,在重大的语义场景下无法通过有用探索找到准确的功效图标。

针对这一痛点  ,来自浙江大学、香港理工大学及 InfiX.ai 的研究团队提出了一种全新的自顺应探索战略优化框架(AEPO)  ,并推出了InfiGUI-G1系列模子。该模子通过多谜底天生与自顺应奖励机制  ,彻底突破了古板 RLVR 的探索瓶颈。仅凭 3B 和 7B 的参数目  ,InfiGUI-G1 便在多个高难度 GUI 基准测试中刷新了 SOTA  ,部分指标甚至大幅逾越了闭源模子。

本文将深入先容这项被 AAAI 2026 吸收为 Oral 的事情  ,解读其怎样通过 “学会探索” 来实现更精准的 GUI 语义明确。

论文问题:InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization论文链接:https://arxiv.org/abs/2508.05731代码链接:https://github.com/InfiXAI/InfiGUI-G1

从 “空间对齐” 到 “语义对齐”:被忽视的探索瓶颈

GUI Grounding 使命的焦点是将自然语言指令(如 “翻开相机”)映射到屏幕上的特定元素坐标。研究团队指出  ,这一使命可以解构为两个正交的维度:

1. 空间对齐(Spatial Alignment):能否准确地定位到元素(即 “指得准”)。

2. 语义对齐(Semantic Alignment):能否识别出功效准确的元素(即 “指得对”)。

现有的 RLVR 要领(如 Naive RLVR)虽然能通过优化坐标天生来提升定位精度  ,但在面临语义模糊或重大的指令时却显得力有未逮。

例如  ,当指令是 “使用相机搜索物体” 时  ,屏幕上可能同时保存通俗的 “相机应用” 和具有视觉搜索功效的 “Google Lens”。缺乏深度语义明确的模子往往会自信地死磕 “相机应用” 图标。由于古板 RL 依赖目今战略采样  ,模子会一直重复这个高置信度的过失  ,陷入“自信陷阱”(Confidence Trap)  ,从而无法发明真正准确的 “Google Lens” 图标  ,导致无法获得修正语义误解所需的学习信号。

GUI Grounding 的主要失败模式: (a) 空间对齐失败  ,(b) 语义对齐失败

InfiGUI-G1:自顺应探索战略优化(AEPO)

为相识决这一探索效率低下的问题  ,InfiGUI-G1 引入了AEPO(Adaptive Exploration Policy Optimization)框架。与古板的单次回覆天生差别  ,AEPO 旨在通过更普遍且高效的探索来捕获低概率但准确的选项。

AEPO 框架由三个协同事情的焦点组件组成:

1.多谜底天生气制(Multi-Answer Generation)古板的 RL 要领通常只采样一个行动  ,一旦模子 “顽强己见” 地选错  ,梯度的学习信号就会消逝。AEPO 强制模子在一次前向转达中天生 N 个候选坐标点。这一机制迫使模子跳出简单的高置信度展望  ,去探索战略漫衍长尾中的可能性  ,从而大幅增添了发明准确谜底(如上述例子中的 Google Lens)的概率。

2.自顺应探索奖励(Adaptive Exploration Reward, AER)仅仅天生多个谜底是不敷的  ,怎样评价这些谜底的质量至关主要。研究团队基于效率第一性原理(效率 = 效用 / 本钱)设计了 AER 函数。

动态激励:若是模子在靠前的排名(Rank k)就找到了准确谜底  ,给予高额奖励 ;若是失败  ,则给予较小的处分以勉励继续探索。这种非线性的奖励设计在失败时勉励模子 “广撒网”  ,在乐成时指导模子追求 “快准狠”  ,实现了探索与使用的动态平衡。

3.共线处分(Collinear Penalty)为了避免模子通过天生近似直线的点来 “作弊”(简朴的线性扫描战略)  ,研究引入了共线处分。若是天生的多个候选点在几何上近似共线  ,将被视为低质量探索并受到严肃处分。这强制模子在语义空间而非纯粹的几何空间中举行多样化探索。

AEPO 与 Naive 强化学习基准要领的比照

实验效果:小参数目实现性能越级

研究团队在 MMBench-GUI、ScreenSpot-Pro、UI-Vision 等五个极具挑战性的基准上对 InfiGUI-G1(3B 和 7B 版本)举行了周全评估。

1.综合性能周全领先:在 MMBench-GUI 基准测试中  ,InfiGUI-G1-7B 在 Windows、iOS、Android 等多个平台上的体现均刷新了开源模子的最佳效果。值得注重的是  ,InfiGUI-G1-7B 在部分指标上甚至优于参数目大得多的 Qwen2.5-VL-72B 和闭源模子 GPT-4o。

2.攻克高难度语义明确使命ScreenSpot-Pro 基准专门区分了文本类(Text)和图标类(Icon)使命。效果显示  ,InfiGUI-G1 在更依赖语义明确的 “图标” 使命上提升尤为显着。这直接证实晰 AEPO 战略有用解决了语义对齐的瓶颈  ,让模子真正 “看懂” 了笼统图标背后的功效寄义  ,而不但仅是举行简朴的文本匹配。

3.让 “不可学习” 变得 “可学习”为了验证 AEPO 是否真的解决了探索难题  ,研究团队将样本按难度分为简朴、中等和难题。实验发明  ,InfiGUI-G1 在 “难题” 样本(即基座模子险些无法答对的样本)上的提升最为重大  ,相对 Naive RLVR 基线提升了凌驾60%。这意味着 AEPO 乐成挖掘出了那些以往因缺乏探索而被模子 “放弃” 的长尾知识。

ScreenSpot-Pro 基准测试的性能比照

总结与展望

InfiGUI-G1 的乐成批注  ,GUI 智能体的性能瓶颈不但仅在于视觉识别能力  ,更在于怎样通过有用的强化学习战略来解决语义对齐问题。通过引入自顺应探索机制  ,InfiGUI-G1 以极高的数据效率和较小的模子规模  ,实现了逾越大模子的 GUI Grounding 能力。这项事情为未来开发更通用、更智能的 GUI 交相助手提供了坚实的手艺基础。

现在  ,InfiGUI-G1 的代码、模子权重及相关资源已在 GitHub 开源  ,接待社区进一步研究与使用。

??时势1:在线免费观看操人视频

??01月07日,九部门开展第27届全国推广普通话宣传周活动,

  三是坚持抓农村党组织建设。做好州里事情  ,要害在党组织、要害在干部。在座的同志  ,在班子里无论分担什么事情  ,都有责任和义务抓好党组织自身的建设。要坚持凭证“五个好”目的要求增强州里、村党组织自身建设  ,特殊是增强干步队伍建设  ,建设一支勤政为民、视野坦荡、目的明确、作风过硬的干步队伍。要以班子的团结斗争  ,带好州里干部、村党支部书记、大学生村官三支步队。要认真落实村党支部书记“一定三有”政策  ,起劲推广“四议两果真”事情法等先进履历  ,增强村级组织阵地建设  ,一直增强农村下层党组织的创立力凝聚力战斗力。

,国产精品洗澡偷窥盗摄。

??01月07日,巨头拆墙 腾讯抖音互通边界,

  其次  ,建设长效机制  ,实验包保责任制  ,关爱每一位学生  ,因材施教。包管每一名学生假期兴奋而来  ,清静到校。每次放假  ,特殊是小学部学生  ,由于年岁小  ,班主任都亲自把学生送到回家的车上。

,你懂色在线免费,97色婷婷五月天,雪姨受不了了用力。

??时势2:国产免费黄片视频

??01月07日,拉萨车站“五一”假期发送旅客7.6万人次,

  一株焦黑的大柳树  ,只有一条嫩绿的枝条  ,在黑夜散发出一缕又一缕柔和的霞光  ,朦胧的光晕笼罩了整个村子。

?第二十七章 落幕,淑女隐忍憋尿by白夜飞行,看黄片.vom,欧美视频 在线观看。

??01月07日,习近平对云南昭通市镇雄县山体滑坡作出重要指示,

  对我们可爱的同砚来说  ,今天是我们生长历程中一个全新的起点 ;对我们可敬的先生来说  ,今天是又一段绚烂事业的最先 ;对我们可亲的学校来说  ,它所引领的  ,必将是小学绚烂的每一天!首先  ,我代表学校对先生们、同砚们的准时返校体现热烈的接待。

,别告诉妈妈视频下载网站,免费在线欧美,蜜桃传媒日韩黄色小视频。

??时势3:无码专区视频在线

??01月07日,中方:愿为防止叙利亚局势进一步恶化作出积极努力,

  四、务必准确处置惩罚好换届事情与其他各项事情的关系

,馃崙馃崙馃崙馃崒馃崒馃崒馃崒馃崙馃崙,馃崋馃崋馃崋馃崋,一极黄色大片。

??01月07日,加强职业启蒙教育 让成长不迷茫,

  小康社会与协调社会建设  ,重点在农村、难点也在农村  ,陪同着经济和社会的生长  ,农村事情也爆发了深刻转变  ,怎样加速农村生长顺应都会化历程  ,生长地方经济、增强地方实力、提高村干部效劳能力成为目今下层组织向导农村事情的主要使命。要增强效劳能力  ,首先要刷新事情作风。农村事情与宽大农民的亲自利益息息相关。干部的作风状态  ,直接影响到党的目的政策落实  ,影响农业和农村经济的生长  ,影响党群干群关系。村干部必需始终心系群众、效劳人民  ,实践一心一意为人民效劳的宗旨  ,热爱农村事情  ,在情绪上贴近群众  ,在事情上依赖群众  ,真正把群众当亲人  ,在实践中强化同人民群众的血肉联系  ,维护好、实现好和生长好农民群众的利益  ,才华真正做到为群众排忧解难、谋福投契  ,从而拉近与群众之间的关系  ,切实做好农村事情。其次  ,要改变事情理念。现在的农民对村干部已经不知足于已往的一样平常要求  ,他们最盼愿的是效劳型干部  ,少指挥  ,多指导  ,少伸手  ,多给予  ,至心实意地为他们提供有用的效劳。因此  ,村干部要更新头脑看法和事情方法  ,变“指挥员”为“指导员” F鹁⒏┟竦闭樟稀⒏阈Ю  ,少“管”多“助”  ,少“说”多“做“  ,时刻站在群众的态度上想问题  ,以维护群众利益为导向解决问题  ,将优质的效劳带给宽大人民群众。

,欧美全黄视频,91主播,黄色网址裸体照片。

??时势4:一级特黄特级啪啪片A片

??01月07日,2019年来新疆兵团药品和医用耗材集采已节约医疗费用逾15亿元,

  它虽然不大  ,但上面密密麻麻  ,也不知道镌刻上了几多符号  ,若隐若无间  ,仿若有诸天神魔的吟唱传出  ,震的人心血翻腾。

,a国产,精品视频 日韩欧美,www.在线观看免费视频毛片。

??01月07日,(文化中国行)流动的“史诗” 扬州中国大运河博物馆讲述千年历史文化 ,

  三是落实不力。抓落实  ,是权衡干部政治素质的一个主要标记  ,是一个地方干部作风的综合体现。现在我镇干部中普遍保存抓而不实、抓而不紧、抓抓停停的征象。有的同志高屋建瓴不肯抓落实  ,无计无谋不会抓落实  ,怕苦怕累不想抓落实。落实不力已经成为我镇干部作风问题的顽症。干部素质不高、能力不强  ,特殊是在难题情形中解决问题的能力不强  ,在难题眼前没有战胜难题的勇气  ,没有战胜难题的能力  ,没有真抓实干的精神  ,一筹莫展  ,无所作为。许多地方保存着僧多粥少、无事可做的不良征象。就现在来看  ,同志们抓事情落实力度各不相同  ,有的村、单位和小我私家起劲凭证镇上的安排安排  ,连系自身现实  ,自动事情  ,落实得很好;可就有那么些村、单位和小我私家  ,事情搪塞塞责  ,僧多粥少  ,不但不自动  ,不起劲  ,甚至于连镇党委政府安排的事情  ,他们也看成耳边风  ,放在一边基础就不当一回事。我们催一催  ,他们才最先动一动。这样的单位、这样的村、这样的干部事情干得好才怪昵。说句着实话  ,现在我们整天讲的“一条龙”效劳  ,“一站式”效劳  ,首问认真制  ,便民效劳等等  ,哪一句不是一句空话  ,不是一纸空文。我们便民效劳大厅  ,形同虚设  ,十几万元成了一个安排。抽调六七小我私家在内里办公  ,到头来  ,我们有几小我私家整天在内里办过公  ,为民办了几件实事。虽然这既有客观缘故原由:一些事务不可直接在大厅内里办结  ,必需到县直相关部分办理  ,但我想最主要的还在于我们一些同志为民效劳的效劳意识不强  ,阵势意识不浓。便民效劳大厅才形成了今天这种无人问津的田地。

,精品精品黄色视频,国产精品欧美性爱,西川结衣与黑人。

【第二届“京津冀协同发展杯”公路自行车邀请赛河北大厂开赛】

【选择“讲究”还是“将就”?他们写下了这些答案】

责编:朱集东

审核:吴奇志

责编:陈明

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图