幼稚的初中女生,以简单为核心,却拥有强大的功能与丰富的内容

k1体育麻将胡了

搜索 猫眼影戏 融媒体矩阵
  • 山东手机报

  • 猫眼影戏

  • 公共网官方微信

  • 公共网官方微博

  • 抖音

  • 人民号

  • 天下党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

ImageNet分数越高,天生反而越糊?iREPA给出诠释

2025-12-29 04:24:41
泉源:

猫眼影戏

作者:

汪正贵

手机审查

  猫眼影戏记者 王端履 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:倾倾

【新智元导读】学霸的假话被揭穿!一篇来自Adobe Research的论文发明,高语义明确并不会提升天生质量,反而可能破损空间结构。用iREPA简朴修改,削弱全局滋扰,天生质量连忙飙升 。

我们经;嵋苫螅何裁词泳跄W釉礁呒,天生效果反而越差?

最近,Adobe Research发了一篇论文,专门诠释了这个看起来有点变态、但重复泛起的征象。

论文地点:https://arxiv.org/pdf/2512.10794

按直觉,模子要先知道「这是什么」,才华把它画出来。

ImageNet上的分类准确率越高,说明模子的语义明确越强,天生的内容越稳固、越靠谱。

但这篇论文给出的效果,完全相反:

一些在识别使命中体现平平、甚至看起来「很不智慧」的视觉编码器,反而能天生出结构更清晰、质量更高的图像。

全局语义能力越强,天生反而越容易出问题。

很可能我们从一最先,就误会了天生模子真正善于的是什么。

为什么视觉模子越「智慧」,天生的反而越差?

先看一个已经被重复验证的事实:一个模子在ImageNet上的线性探测准确率越高,并不料味着它更适适用来做天生。

最直观的例子是SAM2。这是一个在识别使命里不出彩的模子,验证准确率只有24.1%,远低于主流视觉大模子。

但当这些编码器被用于REPA时,SAM2的天生质量反而优于一批准确率横跨约60%的模子。

SAM2的ImageNet验证准确率仅为24.1%,但在REPA框架下的天生gFID显着优于多种准确率凌驾70%的视觉编码器。

这还不是某一个模子的无意体现。

论文进一步较量了统一编码器家族中差别规模的模子,效果发明:模子越大、分类准确率越高,天生质量反而可能相似或更差。

随着模子规模和分类准确率提升,天生gFID反而整体变差,批注这一征象并非由个体模子导致。

显然,「高语义能力=好天生」这条默认路径,在大宗实验中并不建设 。

更要害的是,这种征象并不是噪声。

在跨模子、跨设置的系统性剖析中,全局语义指标与天生质量之间的相关性始终很是弱。

分类能力与天生质量险些无关,空间结构却高度相关。左:线性探测准确率与天生 gFID 的相关性极弱(Pearson r=-0.26)。中:空间结构指标(LDS)与天生质量泛起出显著强相关(Pearson r=-0.85)。右:基于空间结构刷新的iREPA,在多种编码器上稳固优于REPA。

论文进一步对多种视觉编码器做了相关性剖析,效果很是明确:

线性探测准确率与天生质量之间险些不保存相关性。

相比之下,反应patch空间结构的指标,与天生质量泛起出极强的正相关关系。

若是不是「明确多」,那天生模子究竟依赖的是什么?

重复确认会压扁空间结构

在明确了「高语义≠好天生」之后,真正的问题酿成了:

为什么模子越是重复确认,天生反而越容易出问题?

要害就是,全局语义会在天生历程中压扁空间结构。

在天生使命中,模子并不是一次性输出图像,而是在训练和采样历程中,一直对局部patch之间的关系做判断。

论文将这种能力归纳综合为「空间结构」:即相邻patch之间应坚持更高相似性,而远处patch不应被全局语义过早拉近。

但当模子太过追谴责局语义一致性,好比通过CLS token ,或对所有patch做全局平均来强化「这是什么」,这些局部差别就会被系统性地削弱。

这种做法会导致一个直接效果:远景物体的patch,与本应无关的配景patch之间,泛起异常高的相似性。

空间比照度下降,界线变得模糊,天生效果因此糊成一片。

PE-G和WebSSL-1B在ImageNet上具有更高的分类准确率,但它们的空间自相似性显示,远景与配景被太过拉近,界线模糊。相比之下,空间结构更清晰的SpatialPE-B,天生质量显著更好。

研究员向模子中逐步加入全局语义信息,视察分类能力和天生质量的转变。

效果如下图所示:

增强全局语义信息会损害天生质量

随着全局信息权重α从0增添到0.5,模子的线性探测准确率一连上升。

但天生质量却显著下降,FID显着恶化。

也就是说,「更懂这是什么」确着实爆发;但与此同时,模子也失去天生所依赖的空间结构。

这并不是优化不充分的副作用,而是由于全局语义在天生阶段饰演了一个「过强约束」的角色。

它让模子更快告竣结论,却也更早放弃了对局部结构的细腻描绘。

既然语义会滋扰天生,iREPA选择退后一步

若是说前面的实验回覆了「问题出在哪」,那 iREPA 回覆的就是另一个问题:

既然全局语义会滋扰天生,那该怎么对齐体现,才不会把结构压扁?

iREPA给出了谜底。它对原本的REPA训练流程做了两处很是简朴的修改,总共不到四行代码 。

第一处,是投影方法的改变。

在标准REPA中,patch表征通;峋蒑LP投影层举行对齐。

但论文指出,MLP在这一历程中容易混淆差别位置的信息,无意中削弱了空间比照度 。

因此,iREPA用一个3×3的卷积层(padding=1)替换了MLP投影。

卷积的归纳偏置能保存局部邻域关系:相邻patch的相互影响被保存,远处区域则不会被过早混在一起 。

第二处修改,直接针对全局语义。

iREPA在对齐历程中引入了一个空间归一化层,移除了patch特征中的全局均值分量 ,让模子专注于局部之间的差别与界线。

iREPA怎样通过两处修改,恢复天生所需的空间结构。 (a) 使用卷积投影替换MLP,可更好地保存局部空间关系。 (b) 空间归一化层通过移除全局分量,提高patch之间的空间比照度。 (c) 经由这两步修改后,iREPA天生的diffusion特征泛起出更清晰的空间结构。

正是这两点改动,让iREPA在机制上与前一节的问题形成了严酷对应:

全局语义太强会抹平结构,那就在对齐阶段削弱全局分量、强化空间关系 。

效果也在意料之中。

无论是在ImageNet规模的天生使命,照旧更高区分率的设置,亦或是文本到图像的多模态天生使命中,iREPA都体现出更快的收敛速率和更好的最终天生质量。

更主要的是,这种提升并不依赖于某一个特定编码器。

在差别模子规模、差别视觉主干网络、差别训练设置下,iREPA都能稳固刷新。

这不但是一个技巧,而是顺着天生使命自己对结构的需求,把体现对齐这件事做得更榨取、更细腻。

许多时间,我们讨论天生模子时,会下意识沿用一个标准。

但这篇论文提醒了我们,天生并不是明确的自然下游。

对天生来说,最主要的并不是「这是什么」,而是「哪些地方该靠近,哪些地方该脱离」。

当我们一味强化全局语义,重复鞭策模子给出谜底,着实是在替它提前下结论。

iREPA并没有试图让模子变得更智慧。它做的更像是退后一步,把空间还给空间,把结构还给结构。

效果不是明确能力的奔腾,而是天生质量的回归。

参考资料:

https://x.com/1jaskiratsingh/status/2000701128431034736?s=20

https://end2end-diffusion.github.io/irepa/

秒追ASI

?点赞、转发、在看一键三连?

点亮星标,锁定新智元极速推送!

??时势1:狂躁欧美肥臀大BBBB

??12月29日,小微企业如何穿越周期?,

企业开张仪式向导讲话 篇19

,久久免费A级片观看。

??12月29日,【推动高质量发展系列主题新闻发布会】我国宏观经济治理体系不断健全,

  从这部影片中我知道了许多清静知识——

,国产精品自产拍在线观看收藏,www,爱爱,com,免费国产日逼。

??时势2:黄色视频在线观看我爱干网站

??12月29日,全国老字号福州展示展销 国货潮品贺新春,

股权转让,是公司股东依法将自己的股东权益有偿转让给他人,使他人取得股权的民事执法行为。那么,什么情形下股权转让需要审批?

什么情形下股权转让需要审批

网友咨询:

什么情形下股权转让需要审批

状师解答:

通常情形下,股权转让事宜由转让方和受让方协商确定,不涉及股权转让的审批问题。

但在某些特定情形下,需要取得相关主管部分的批准或备案,好比,国有股权转让的,须报主管部分批复;

中外合资企业的股权转让须报原审批机关批准,证券、包管、银行等特殊性子的公司,股东变换需要推行响应的羁系划定,报主管部分批准或备案。

状师增补:

股权转让需要注重的详细如下:

1、注重所签协议的主体。通常在股权转让中,出让股权的主体应该是公司股东,受让方则可以是公司的其他股东,也可以是公司股东外第三人。

2、股东会、或者其他股东的意见或决议。公司股东在对外第三人转让股权之前,必需要先征求公司其他股东的意见。

3、需要对前置审批程序加以关注。

4、有清晰的公司股权结构。

5、受让人应该要仔细剖析受让股权所在公司的谋划和财务情形。

6、受让人应该尽可能的相识受让股权的信息,以确认受让股权是否保存问题。

7、股权转让协议应当要求条约相对方,作出响应的包管及允许。

8、应该实时至有关部分办理工商变换挂号。

【执律例则】

《公司法》第七十一条

有限责任公司的股东之间可以相互转让其所有或者部分股权。

股东向股东以外的人转让股权,应当经其他股东过半数赞成。股东应就其股权转让事项书面通知其他股东征求赞成,其他股东自接到书面通知之日起满三十日未回复的,视为赞成转让。其他股东半数以上差别意转让的,差别意的股东应当购置该转让的股权;不购置的,视为赞成转让。

经股东赞成转让的股权,在一律条件下,其他股东有优先购置权。

第一百三十九条

记名股票,由股东以背书方法或者执法、行政规则划定的其他方法转让;转让后由公司将受让人的姓名或者名称及住所纪录于股东名册。

股东大会召开前二十日内或者公司决议分派股利的基准日前五日内,不得举行前款划定的股东名册的变换挂号。可是,执法对上市公司股东名册变换挂号尚有划定的,从其划定。

?同上一堂国家清静教育课小我私家心得体会(精选32篇),https://pornmoviesx.pro/video17771/,又黄又涩的网站,国产黄色在线观看。

??12月29日,两岸新能源汽车产业融合发展示范基地在江苏常州揭牌,

  金色光线爆发,草原都被染成了金色,它摇头摆尾,全身符文密布,强烈抗争,要将这小我私家族少年震死。

,精品国产爆操吞精黄色a片,精品无码在线网址,亚洲精品日韩精品日韩专区一。

??时势3:亚洲欧美中文字幕在线一区下载

??12月29日,(巴黎残奥会)克服困难迎接挑战 “金牌大户”中国体育代表团游泳队力争佳绩,

  碧海升沉,群雄悄然,这个少年未免太强了,就是莫殇、韩天也不见得能绝对镇压,他的体现令海中的生灵心惊!

,欧美日韩情欲片在线观看,美女扒开腿让男生桶免费看动态图,一级毛片免费全部播放完整。

??12月29日,经济日报评论员:守正创新书写理论创新时代篇章,

  小不点乐成了,并且护着一个孩子归来。

,久久婷婷色香五月综合,导航入口秘 国产夜月,免费強奸视频。

??时势4:久久亚洲日本视频网址

??12月29日,北京市人大完善财经联网监督系统 建立京津冀数据共享机制,

  (五)启动市区“一项攻坚、三项整治”行动。“一项攻坚”,就是要在市区开展违章修建拆除攻坚行动。今年要围绕打造一批无瑕疵的精品街区这一事情重点,列出拆迁重点,把使命交到甘州区,甘州区要把使命细化落实到人。“三项整治”就是要开展以情形卫生为重点的市容整治、以退路还市为重点的市场整治、以亮化美化为重点的风貌整治。市容整治方面,要推行以环卫部分治理和专业步队准时定点清扫保洁、沿街门店单位和市民门前“三包”(包卫生、包美化、包秩序)落实、公益性援助岗位及都会低保职员起劲加入的都会情形卫生治理新机制,形成都会治理的强盛协力。市场整治方面,要围绕退市还路,优先妄想建设一批小市场,让谋划者有市可进。风貌整治方面,要把都会亮化纳入妄想治理,把亮化效果作为完工验收的一项主要指标,打造流光溢彩的都会夜景。“一项攻坚、三项整治”行动由副市长余锋牵头,甘州区政府详细落实,春节前形成,年后付诸实验。

,亚洲国产二区,国产精品九色,同性男男黄g片APP软件。

??12月29日,世界女排联赛香港站打响 中国女排3比0完胜保加利亚,

  三是部分联动整改陋习。要把提高市民素质、离外古板陋习作为改善都会秩序、提升都会品位、增强都会治理的主要手段和主要使命,紧抓不放,务求实效。文明办、教育局、工会、共青团、妇联等部分,要普遍开展“树文明新风,做文明市民”的主题活动,起劲抵达“三管好”的要求(管好自己的手,不乱扔乱倒垃圾,不做不文明的事;管好自己的口,不随地吐痰,不说不文明的话;管好自己的腿,不违反交通规则,不蹂躏花卉树木),全民下手,同心协力,真正形成重视文明、考究的社会民俗。

,国产精品国产三级在线专,吹壶壶 视频 教程,巨乳爆乳在线。

责编:吴忆桦

审核:盖伊·福克斯日

责编:冯坤

相关推荐 换一换

Copyright (C) 2001-   dzwww.com. All Rights Reserved

新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证

山东省互联网传媒集团主理  联系电话:0531-85193202  违法不良信息举报电话:0531-85196540

鲁ICP备09023866号-1   鲁公网安备 37010202000111号  

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

网站地图