欧美偷操,拒绝平凡,让每一次打开都充满新鲜与期待

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

AAAI 2026 Oral|InfiGUI-G1模子来了,刷新GUI Grounding SOTA

2026-01-09 14:02:11
泉源:

猫眼影戏

作者:

孙昭明

手机审查

  猫眼影戏记者 金大荣 报道Q8X2R7L1T4J5M9B6W3

随着多模态大语言模子(MLLM)的飞速生长,能够像人类一样通过视觉输入操作图形用户界面(GUI)的智能体(Agent)正逐渐成为现实。然而,在通往通用盘算机控制的蹊径上,怎样让模子精准地将自然语言指令对应到屏幕上的详细元素 —— 即 GUI Grounding 使命,依然是一浩劫题。

现有的要领,特殊是基于验证奖励的强化学习(RLVR),虽然在提升 “指得准”(空间对齐)方面体现精彩,却往往在 “指得对”(语义对齐)上遭遇瓶颈。模子经常陷入 “自信陷阱”,在重大的语义场景下无法通过有用探索找到准确的功效图标。

针对这一痛点,来自浙江大学、香港理工大学及 InfiX.ai 的研究团队提出了一种全新的自顺应探索战略优化框架(AEPO),并推出了InfiGUI-G1系列模子。该模子通过多谜底天生与自顺应奖励机制,彻底突破了古板 RLVR 的探索瓶颈。仅凭 3B 和 7B 的参数目,InfiGUI-G1 便在多个高难度 GUI 基准测试中刷新了 SOTA,部分指标甚至大幅逾越了闭源模子。

本文将深入先容这项被 AAAI 2026 吸收为 Oral 的事情,解读其怎样通过 “学会探索” 来实现更精准的 GUI 语义明确。

论文问题:InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization论文链接:https://arxiv.org/abs/2508.05731代码链接:https://github.com/InfiXAI/InfiGUI-G1

从 “空间对齐” 到 “语义对齐”:被忽视的探索瓶颈

GUI Grounding 使命的焦点是将自然语言指令(如 “翻开相机”)映射到屏幕上的特定元素坐标。研究团队指出,这一使命可以解构为两个正交的维度:

1. 空间对齐(Spatial Alignment):能否准确地定位到元素(即 “指得准”)。

2. 语义对齐(Semantic Alignment):能否识别出功效准确的元素(即 “指得对”)。

现有的 RLVR 要领(如 Naive RLVR)虽然能通过优化坐标天生来提升定位精度,但在面临语义模糊或重大的指令时却显得力有未逮。

例如,当指令是 “使用相机搜索物体” 时,屏幕上可能同时保存通俗的 “相机应用” 和具有视觉搜索功效的 “Google Lens”。缺乏深度语义明确的模子往往会自信地死磕 “相机应用” 图标。由于古板 RL 依赖目今战略采样,模子会一直重复这个高置信度的过失,陷入“自信陷阱”(Confidence Trap),从而无法发明真正准确的 “Google Lens” 图标,导致无法获得修正语义误解所需的学习信号。

GUI Grounding 的主要失败模式: (a) 空间对齐失败,(b) 语义对齐失败

InfiGUI-G1:自顺应探索战略优化(AEPO)

为相识决这一探索效率低下的问题,InfiGUI-G1 引入了AEPO(Adaptive Exploration Policy Optimization)框架。与古板的单次回覆天生差别,AEPO 旨在通过更普遍且高效的探索来捕获低概率但准确的选项。

AEPO 框架由三个协同事情的焦点组件组成:

1.多谜底天生气制(Multi-Answer Generation)古板的 RL 要领通常只采样一个行动,一旦模子 “顽强己见” 地选错,梯度的学习信号就会消逝。AEPO 强制模子在一次前向转达中天生 N 个候选坐标点。这一机制迫使模子跳出简单的高置信度展望,去探索战略漫衍长尾中的可能性,从而大幅增添了发明准确谜底(如上述例子中的 Google Lens)的概率。

2.自顺应探索奖励(Adaptive Exploration Reward, AER)仅仅天生多个谜底是不敷的,怎样评价这些谜底的质量至关主要。研究团队基于效率第一性原理(效率 = 效用 / 本钱)设计了 AER 函数。

动态激励:若是模子在靠前的排名(Rank k)就找到了准确谜底,给予高额奖励;若是失败,则给予较小的处分以勉励继续探索。这种非线性的奖励设计在失败时勉励模子 “广撒网”,在乐成时指导模子追求 “快准狠”,实现了探索与使用的动态平衡。

3.共线处分(Collinear Penalty)为了避免模子通过天生近似直线的点来 “作弊”(简朴的线性扫描战略),研究引入了共线处分。若是天生的多个候选点在几何上近似共线,将被视为低质量探索并受到严肃处分。这强制模子在语义空间而非纯粹的几何空间中举行多样化探索。

AEPO 与 Naive 强化学习基准要领的比照

实验效果:小参数目实现性能越级

研究团队在 MMBench-GUI、ScreenSpot-Pro、UI-Vision 等五个极具挑战性的基准上对 InfiGUI-G1(3B 和 7B 版本)举行了周全评估。

1.综合性能周全领先:在 MMBench-GUI 基准测试中,InfiGUI-G1-7B 在 Windows、iOS、Android 等多个平台上的体现均刷新了开源模子的最佳效果。值得注重的是,InfiGUI-G1-7B 在部分指标上甚至优于参数目大得多的 Qwen2.5-VL-72B 和闭源模子 GPT-4o。

2.攻克高难度语义明确使命ScreenSpot-Pro 基准专门区分了文本类(Text)和图标类(Icon)使命。效果显示,InfiGUI-G1 在更依赖语义明确的 “图标” 使命上提升尤为显着。这直接证实晰 AEPO 战略有用解决了语义对齐的瓶颈,让模子真正 “看懂” 了笼统图标背后的功效寄义,而不但仅是举行简朴的文本匹配。

3.让 “不可学习” 变得 “可学习”为了验证 AEPO 是否真的解决了探索难题,研究团队将样本按难度分为简朴、中等和难题。实验发明,InfiGUI-G1 在 “难题” 样本(即基座模子险些无法答对的样本)上的提升最为重大,相对 Naive RLVR 基线提升了凌驾60%。这意味着 AEPO 乐成挖掘出了那些以往因缺乏探索而被模子 “放弃” 的长尾知识。

ScreenSpot-Pro 基准测试的性能比照

总结与展望

InfiGUI-G1 的乐成批注,GUI 智能体的性能瓶颈不但仅在于视觉识别能力,更在于怎样通过有用的强化学习战略来解决语义对齐问题。通过引入自顺应探索机制,InfiGUI-G1 以极高的数据效率和较小的模子规模,实现了逾越大模子的 GUI Grounding 能力。这项事情为未来开发更通用、更智能的 GUI 交相助手提供了坚实的手艺基础。

现在,InfiGUI-G1 的代码、模子权重及相关资源已在 GitHub 开源,接待社区进一步研究与使用。

??时势1:久在线视频免费观看

??01月09日,万千气象看广东:千亿风电产业集群!看汕尾海上丛林追风逐电,

  “坏了,这头大鸟发疯了,我们该不会被它一爪子所有按碎在这里吧?”皮猴等皆惊,孩子们有些后悔了,难怪大人们一直不敢轻举妄动,这头凶禽太恐怖了。

,欲色精品一区二区三区99。

??01月09日,《自然》最新评论:癌症命名法亟需由基于器官转变为基于分子分类,

  这里连一只鸟雀都没有,更不要说走兽了,甚至蚁虫都躲入洞中蛰伏,不肯出来,山林中荒寂无声,死一样平常的清静。

,九九久久精品,欧美三级性生活,日本一黄色网站。

??时势2:免费黄色大片网站

??01月09日,拂影·2024第十一季SIUF国际超模大赛总决赛在深圳揭晓,

  “嗯,族长爷爷,我知道的。”小不点接到手中,轻轻摩挲,感受无比的莹润,清凉入骨,持在手中很是惬意。

,99久久99这里只有免费费精品,玖辛奈被扒开腿做,欧美激情中文字幕一区。

??01月09日,俄媒:乌军无人机袭击别尔哥罗德州致数十人死伤,

  “青鳞鹰大婶,狻猊这次应该真的死了,我们已往看看吧。”石昊小声道。

,纲手爆乳被 秘软件3D,颜面坐脸女王,黄色网站大全在线看。

??时势3:免费看黄色视频的软件

??01月09日,长三角一体化标范区:发布新一轮重大建设项目三年行动计划,

  一、明确目的和使命,切实担负起社会主义新农村建设重任

,美女被爽cao免费网站,亚洲黄色小书综合网,香蕉视频在线视频。

??01月09日,延至明年7月举办 东亚杯成国足冲击世界杯重要练兵机会? ,

  代表大会的主要议程有四项:一是听取和审议中共中国传媒大学委员会;二是听取和审议中共中国传媒大学纪律检查委员会;三是选举中共中国传媒大学第一届委员会;四是选举中共中国传媒大学纪律检查委员会。

,操喷了视频,国内精品久久久久精品无毒,mmxxxx在线观看。

??时势4:www.亚洲色图.com

??01月09日,开车不看手机到底有多难,

裁判要旨

最高法案例:原告在行政程序中拒不提供证据的效果

《******关于行政诉讼证据若干问题的划定》第六条划定:“原告可以提供证实被诉详细行政行为违法的证据。原告提供的证据不建设的,难免去被告对被诉详细行政行为正当性的举证责任。”因此,若原告在行政诉讼中新提交的证据属于确有正当理由且这些证据确实足以对行政行为的正当性造成实质性影响时,则证据可以获得采信并作为人民法院作出裁判的依据。其次,行政诉讼坚持正当性审查的原则,同时为阻止铺张行政及司法资源,《******关于行政诉讼证据若干问题的划定》第五十九条划定:“被告在行政程序中遵照法定程序要求原告提供证据,原告依法应当提供而拒不提供,在诉讼程序中提供的证据,人民法院一样平常不予接纳。”在行政机关作出行政行为的历程中,若是原告保存居心不提交有关证据或者懈怠搜集证据的情形,则人民法院关于原告在行政诉讼中新提交的证据不应予以采信。最后,关于《******关于行政诉讼证据若干问题的划定》第六十条划定的“不可作为认定被诉详细行政行为正当依据”的证据,人民法院不可予以采信。原告或者第三人在诉讼历程中提供的、被告在行政程序中未作为详细行政行为依据的证据属于不可作为认定被诉详细行政行为正当依据的证据情形之一。

裁判文书

中华人民共和国******

行 政 裁 定 书

(2019)最高法行申4324号

再审申请人(一审原告、二审上诉人):肖淑春,女,1945年3月16日出生,汉族。

委托诉讼署理人:肖金山(系肖淑春之子),男,1968年11月15日出生,汉族。

委托诉讼署理人:刘飘,辽宁襄平状师事务所状师。

被申请人(一审被告、二审被上诉人):辽宁省辽阳市人民政府。住所地:辽宁省辽阳市文圣区新城路9号。

法定代表人:王一兵,该市人民政府市长。

第三人:辽宁省辽阳市公安局雄伟区公循分局。住所地:辽宁省辽阳市雄伟区向阳街十四号。

法定代表人:龚立军,该公循分局局长。

第三人:王虹,女,1972年4月8日出生,汉族。

再审申请人肖淑春因诉辽宁省辽阳市人民政府(以下简称辽阳市政府)行政复议决议一案,不平辽宁省高级人民法院(以下简称二审法院)(2018)辽行终631号行政讯断,向本院申请再审。本院受理后,依法由审讯员梁凤云、审讯员张艳、审讯员仲伟珩组成合议庭,对本案举行了审查,现已审查终结。

肖淑春不平辽阳市政府作出的辽市行复决字〔2017〕5号行政复议决议(以下简称5号复议决议),向辽宁省辽阳市中级人民法院(以下简称一审法院)提起诉讼,请求作废5号复议决议。

一审法院以为:《中华人民共和国行政复议法》第三条第三项划定,遵照本法推行行政复议职责的行政机关是行政复议机关。行政复议机关认真法制事情的机构详细办理行政复议事项,推行审查申请行政复议的详细行政行为是否正当与适当,制订行政复议决议。凭证此项划定,行政复议机关对行政行为的审查应当是周全审查,不受申请人申请事实及理由的限制。本案中,辽阳市政府在复议审查历程中,以为雄伟分局仅依据与肖淑春有利害关系的两位证人及肖淑春自己的询问笔萍,在没有其他证据佐证的情形下,作来由罚决议,证据不充分,并无不当。关于肖淑春提出辽阳市政府作出的5号复议决议与其之前针对庞春勇的处分决议作出的辽市行复决字〔2016〕130号《行政复议决议》(以下简称130号复议决议)相矛盾的问题,因130号复议决议审查的是庞春勇的处分决议是否正当的问题,130号复议决议经审理查明部分准确与否并不可作为否定5号复议决议正当性问题的依据。一审法院于2017年12月4日作出(2017)辽10行初13号行政讯断:驳回肖淑春的诉讼请求。

肖淑春不平,提起上诉,请求作废一审讯断。二审法院查明的事实与一审法院认定的事实一致。

二审法院以为:本案的争议焦点是王虹是否殴打肖淑春,并造成其受伤。本案中,雄伟分局对王虹作出行政处分的主要事实依据是事发时在场的肖淑春自己以及其女儿肖春艳和女婿庞春勇的陈述。复议机关以为仅依据与肖淑春及与其有利害关系的两位证人的陈述,在没有其他证据佐证,且三人陈述亦纷歧致的情形下,认定处分决议证据不充分,并无不当。关于肖淑春提出的其在诉讼阶段提交了事发当天的急诊病志和DR诊断报告单,证实其当天受伤事实的上诉主张。肖淑春在事发当天未向作出原行政处分决议的公安机关提交,在行政复议阶段也未向复议机关提交,故复议机关在其时的证据条件下作出的复议决议并无不当。其次,肖淑春所提交的急诊病志虽诊断为左肩外伤,但体检所见内容为“左肩外侧触痛,左肩枢纽外展活动受限”等系其自述内容,且DR诊断报告单诊断意见为:左肩骨质未见确切骨折线。该两份证据难以认定王虹对肖淑春举行殴打,并造成其受伤。故对肖淑春的该项上诉主张,不予支持。关于肖淑春提出雄伟分局对王虹作来由罚决议后,王虹并没有提出行政复媾和行政诉讼,证实其对殴打肖淑春的事实没有异议的上诉主张。王虹对行政处分是否提出行政复媾和行政诉讼,并不可成为证实其殴打肖淑春的证据,且王虹在诉讼阶段也提出其并未殴打肖淑春,故对肖淑春的该项上诉主张,不予支持。关于肖淑春提出的一审中的证人证言并非孤证的上诉主张。报警纪录、被害人陈述、急诊病志和DR诊断报告单的内容均系肖淑春自述,并不可证实肖淑春被王虹殴打受伤的事实,故一审认定肖淑春之女肖春艳的证人证言不可作为认定行政复议决议是否正当的依据并无不当。关于肖淑春提出的辽阳市政府作出的130号复议决议系已经依法证实的事实,可以作为认定王虹殴打其证据的上诉主张。王虹是否殴打肖淑春不是130号复议决议审查的主要事实,该复议决议中表述的内容不可直接作为认定王虹殴打肖淑春的直接证据,故对肖淑春的该项上诉主张,不予支持。据此,二审法院于2018年12月25日作出(2018)辽行终631号讯断:驳回上诉,维持一审讯断。

肖淑春仍不平,向本院申请再审,请求:作废二审讯断,判令辽阳市政府重新作出复议决议。主要的事实与理由为:一、二审认定事实不清。证人证言、报警纪录、急诊病志、DR诊断报告单、当事人陈述以及警员出警等证据,王虹未提出行政复媾和行政诉讼等,能够证实王虹殴打自己的事实,且该事实经辽阳市政府作出的130号复议决议予以认定。

本院以为:本案的争议焦点为,肖淑春在诉讼中提交的证据应否采信及5号复议决议是否违反榨取倒运变换原则等问题。

关于肖淑春在诉讼阶段提交的事发当天的急诊病志、DR诊断报告单等应否采信问题。首先,《******关于行政诉讼证据若干问题的划定》第六条划定:“原告可以提供证实被诉详细行政行为违法的证据。原告提供的证据不建设的,难免去被告对被诉详细行政行为正当性的举证责任。”因此,若原告在行政诉讼中新提交的证据属于确有正当理由且这些证据确实足以对行政行为的正当性造成实质性影响时,则证据可以获得采信并作为人民法院作出裁判的依据。其次,行政诉讼坚持正当性审查的原则,同时为阻止铺张行政及司法资源,《******关于行政诉讼证据若干问题的划定》第五十九条划定:“被告在行政程序中遵照法定程序要求原告提供证据,原告依法应当提供而拒不提供,在诉讼程序中提供的证据,人民法院一样平常不予接纳。”在行政机关作出行政行为的历程中,若是原告保存居心不提交有关证据或者懈怠搜集证据的情形,则人民法院关于原告在行政诉讼中新提交的证据不应予以采信。最后,关于《******关于行政诉讼证据若干问题的划定》第六十条划定的“不可作为认定被诉详细行政行为正当依据”的证据,人民法院不可予以采信。原告或者第三人在诉讼历程中提供的、被告在行政程序中未作为详细行政行为依据的证据属于不可作为认定被诉详细行政行为正当依据的证据情形之一。本案中,就王虹是否殴打肖淑春这一事实而言,肖淑春认可雄伟分局作出的处分决议中的认定,即主张王虹殴打了肖淑春,肖淑春在诉讼中提交新的证据也是为了证实此事实。鉴于雄伟分局在行政程序中并未将肖淑春提交的事发当天的急诊病志、DR诊断报告单等作为处分决议的依据,肖淑春在行政复议阶段也未向复议机关提交,因此以上证据不可作为认定雄伟分局作出的处分决议认定事实清晰的依据。

关于5号复议决议认定雄伟分局作出的处分决议保存事实不清、证据缺乏是否准确的问题。雄伟分局作出的处分决议载明其作出的依据是对王虹、庞春勇的询问笔萍及证人证言等证据。关于处分决议的作出依据是否充分问题,首先,一审法院审查后已认定作为处分依据的证人证言系与肖淑春有利害关系的两位证人出具。其次,5号复议决议载明雄伟分局在复议程序中自述:庞春勇、肖春艳和肖淑春三人对现场情形的陈述纷歧致;出警当日,民警在询问详细情形的历程中,并未有人提出肖淑春被打一事。最后,王虹在复议程序中自述:其其时怀有身孕,未殴打肖淑春;其被打后实时打110报警并入院治疗。综合以上事实,辽阳市政府以为,在王虹不认可殴打肖淑春的情形下,雄伟分局仅依据其在处分决议中载明的依据作出王虹用高跟鞋和石头扔肖淑春和肖春艳的认定,并据此作出给予王虹拘留八日并?钊僭拇Ψ志鲆樗谰莸氖率挡磺濉⒅ぞ萑狈,并无显着不当。别的,肖淑春提出的辽阳市政府作出的130号复议决议可以证实王虹保存殴打行为等问题,一、二审法院论理并无显着不当,本院予以认可。

关于辽阳市政府在王虹未申请行政复议的情形下能否作废处分决议问题。《中华人民共和国行政复议法实验条例》第五十一条划定:“行政复议机关在申请人的行政复议请求规模内,不得作出对申请人更为倒运的行政复议决议。”该条划定了行政复议榨取倒运变换原则。由于复议申请人申请行政复议,是为了作废对己倒运的行政行为。若是行政复议机关在审查行政行为是否正当或适当的历程中,作出对复议申请人较原裁决更为倒运的决议,那么就会违反复议申请人提起行政救援的本意。行政复议榨取倒运变换原则体现了“申辩不加重”的本意,即要求行政复议机关不得因当事人申辩而加重处分。可是行政复议榨取倒运变换原则的适用也保存破例情形。在行政处分案件中,扫除榨取倒运变换原则适用包括但不限于以下情形:一是被损害人及被处分人同为复议申请人。此类情形中被损害人、被处分人会昭示请求作废处分决议;二是被损害人或被处分人申请了行政复议,另一方作为第三人在复议程序中保存有意识的默示申请作废处分决议的行为。本案中,肖淑春因不平雄伟分局对王虹所作的处分决议而申请复议,被处分人王虹系复议程序中的第三人。王虹虽然并非复议申请人,但其在复议程序中明确主张未殴打肖淑春、肖淑春保存作伪证等情形,因此可以认定王虹并不认可雄伟分局作出的处分决议,且已提出申辩,切合默示申请作废处分决议的要件。在此情形下,辽阳市政府经审理后,决议作废处分决议,并未违反榨取倒运变换原则。

综上,肖淑春的再审申请不切合《中华人民共和国行政诉讼法》第九十一条划定的情形。本院遵照《******关于适用〈中华人民共和国行政诉讼法〉的诠释》第一百一十六条第二款之划定,裁定如下:

驳回再审申请人肖淑春的再审申请。

审讯长  梁凤云

审讯员  张 艳

审讯员  仲伟珩

二〇一九年十仲春二十四日

法官助理刘均博

书记员宫傲

,国产经典99久久不卡中国情侣,美女露出乳头和私处和男人日逼,囯产精 你懂的。

??01月09日,中国发布全球首款别墅专用光伏组件,

  仅仅数日间,小不点就有了非凡的效果。

,小萝莉被多人按着c喷水,国产小视频高在线观看,无码黄片视频。

【特朗普公布美国航天局局长拟任人选】

【遵义:书写旅游发展的诗意华章】

责编:刘鑫

审核:海鹦

责编:吴庆才

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图