猫眼影戏
 |
|
猫眼影戏
刘道伟
手机审查
猫眼影戏记者 邓玲 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑：倾倾
【新智元导读】学霸的假话被揭穿！一篇来自Adobe Research的论文发明 ，高语义明确并不会提升天生质量 ，反而可能破损空间结构 。用iREPA简朴修改 ，削弱全局滋扰 ，天生质量连忙飙升 。
我们经；嵋苫螅何裁词泳跄Ｗ釉礁呒 ，天生效果反而越差？
最近 ，Adobe Research发了一篇论文 ，专门诠释了这个看起来有点变态、但重复泛起的征象 。
论文地点：https://arxiv.org/pdf/2512.10794
按直觉 ，模子要先知道「这是什么」 ，才华把它画出来 。
ImageNet上的分类准确率越高 ，说明模子的语义明确越强 ，天生的内容越稳固、越靠谱 。
但这篇论文给出的效果 ，完全相反：
一些在识别使命中体现平平、甚至看起来「很不智慧」的视觉编码器 ，反而能天生出结构更清晰、质量更高的图像 。
全局语义能力越强 ，天生反而越容易出问题 。
很可能我们从一最先 ，就误会了天生模子真正善于的是什么 。
为什么视觉模子越「智慧」 ，天生的反而越差？
先看一个已经被重复验证的事实：一个模子在ImageNet上的线性探测准确率越高 ，并不料味着它更适适用来做天生 。
最直观的例子是SAM2 。这是一个在识别使命里不出彩的模子 ，验证准确率只有24.1% ，远低于主流视觉大模子 。
但当这些编码器被用于REPA时 ，SAM2的天生质量反而优于一批准确率横跨约60%的模子 。
SAM2的ImageNet验证准确率仅为24.1% ，但在REPA框架下的天生gFID显着优于多种准确率凌驾70%的视觉编码器 。
这还不是某一个模子的无意体现 。
论文进一步较量了统一编码器家族中差别规模的模子 ，效果发明：模子越大、分类准确率越高 ，天生质量反而可能相似或更差 。
随着模子规模和分类准确率提升 ，天生gFID反而整体变差 ，批注这一征象并非由个体模子导致 。
显然 ，「高语义能力=好天生」这条默认路径 ，在大宗实验中并不建设 。
更要害的是 ，这种征象并不是噪声 。
在跨模子、跨设置的系统性剖析中 ，全局语义指标与天生质量之间的相关性始终很是弱 。
分类能力与天生质量险些无关 ，空间结构却高度相关 。左：线性探测准确率与天生 gFID 的相关性极弱（Pearson r=-0.26） 。中：空间结构指标（LDS）与天生质量泛起出显著强相关（Pearson r=-0.85） 。右：基于空间结构刷新的iREPA ，在多种编码器上稳固优于REPA 。
论文进一步对多种视觉编码器做了相关性剖析 ，效果很是明确：
线性探测准确率与天生质量之间险些不保存相关性 。
相比之下 ，反应patch空间结构的指标 ，与天生质量泛起出极强的正相关关系 。
若是不是「明确多」 ，那天生模子究竟依赖的是什么？
重复确认会压扁空间结构
在明确了「高语义≠好天生」之后 ，真正的问题酿成了：
为什么模子越是重复确认 ，天生反而越容易出问题？
要害就是 ，全局语义会在天生历程中压扁空间结构 。
在天生使命中 ，模子并不是一次性输出图像 ，而是在训练和采样历程中 ，一直对局部patch之间的关系做判断 。
论文将这种能力归纳综合为「空间结构」：即相邻patch之间应坚持更高相似性 ，而远处patch不应被全局语义过早拉近 。
但当模子太过追谴责局语义一致性 ，好比通过CLS token ，或对所有patch做全局平均来强化「这是什么」 ，这些局部差别就会被系统性地削弱 。
这种做法会导致一个直接效果：远景物体的patch ，与本应无关的配景patch之间 ，泛起异常高的相似性 。
空间比照度下降 ，界线变得模糊 ，天生效果因此糊成一片 。
PE-G和WebSSL-1B在ImageNet上具有更高的分类准确率 ，但它们的空间自相似性显示 ，远景与配景被太过拉近 ，界线模糊 。相比之下 ，空间结构更清晰的SpatialPE-B ，天生质量显著更好 。
研究员向模子中逐步加入全局语义信息 ，视察分类能力和天生质量的转变 。
效果如下图所示：
增强全局语义信息会损害天生质量
随着全局信息权重α从0增添到0.5 ，模子的线性探测准确率一连上升 。
但天生质量却显著下降 ，FID显着恶化 。
也就是说 ，「更懂这是什么」确着实爆发；但与此同时 ，模子也失去天生所依赖的空间结构 。
这并不是优化不充分的副作用 ，而是由于全局语义在天生阶段饰演了一个「过强约束」的角色 。
它让模子更快告竣结论 ，却也更早放弃了对局部结构的细腻描绘 。
既然语义会滋扰天生 ，iREPA选择退后一步
若是说前面的实验回覆了「问题出在哪」 ，那 iREPA 回覆的就是另一个问题：
既然全局语义会滋扰天生 ，那该怎么对齐体现 ，才不会把结构压扁？
iREPA给出了谜底 。它对原本的REPA训练流程做了两处很是简朴的修改 ，总共不到四行代码 。
第一处 ，是投影方法的改变 。
在标准REPA中 ，patch表征通；峋蒑LP投影层举行对齐 。
但论文指出 ，MLP在这一历程中容易混淆差别位置的信息 ，无意中削弱了空间比照度 。
因此 ，iREPA用一个3×3的卷积层（padding=1）替换了MLP投影 。
卷积的归纳偏置能保存局部邻域关系：相邻patch的相互影响被保存 ，远处区域则不会被过早混在一起 。
第二处修改 ，直接针对全局语义 。
iREPA在对齐历程中引入了一个空间归一化层 ，移除了patch特征中的全局均值分量 ，让模子专注于局部之间的差别与界线 。
iREPA怎样通过两处修改 ，恢复天生所需的空间结构 。 (a) 使用卷积投影替换MLP ，可更好地保存局部空间关系 。 (b) 空间归一化层通过移除全局分量 ，提高patch之间的空间比照度 。 (c) 经由这两步修改后 ，iREPA天生的diffusion特征泛起出更清晰的空间结构 。
正是这两点改动 ，让iREPA在机制上与前一节的问题形成了严酷对应：
全局语义太强会抹平结构 ，那就在对齐阶段削弱全局分量、强化空间关系 。
效果也在意料之中 。
无论是在ImageNet规模的天生使命 ，照旧更高区分率的设置 ，亦或是文本到图像的多模态天生使命中 ，iREPA都体现出更快的收敛速率和更好的最终天生质量 。
更主要的是 ，这种提升并不依赖于某一个特定编码器 。
在差别模子规模、差别视觉主干网络、差别训练设置下 ，iREPA都能稳固刷新 。
这不但是一个技巧 ，而是顺着天生使命自己对结构的需求 ，把体现对齐这件事做得更榨取、更细腻 。
许多时间 ，我们讨论天生模子时 ，会下意识沿用一个标准 。
但这篇论文提醒了我们 ，天生并不是明确的自然下游 。
对天生来说 ，最主要的并不是「这是什么」 ，而是「哪些地方该靠近 ，哪些地方该脱离」 。
当我们一味强化全局语义 ，重复鞭策模子给出谜底 ，着实是在替它提前下结论 。
iREPA并没有试图让模子变得更智慧 。它做的更像是退后一步 ，把空间还给空间 ，把结构还给结构 。
效果不是明确能力的奔腾 ，而是天生质量的回归 。
参考资料：
https://x.com/1jaskiratsingh/status/2000701128431034736?s=20
https://end2end-diffusion.github.io/irepa/
秒追ASI
?点赞、转发、在看一键三连?
点亮星标 ，锁定新智元极速推送！
??时势1：1024亚洲精品国产片
??12月27日,报告：新职业青年崛起 直播电商操盘手等职业受追捧,
这枚蛋有点特殊 ，有可能继续了远古魔禽不少印记碎片 ，爆发了返祖征象 ，若是这样 ，血脉高尚无比 ，远胜其怙恃 。
,男的扒开女的腿扒开爽桶 。??12月27日,香港中国学术紫荆论坛在港举办 专家学者共论“新质生产力”,
第三 ，要用先进的理念破解难题 。 要大兴学习之风 ，起劲学理论 ，学科学 ，学手艺 ，学经济 ，学治理 ，学习一切对我们有用的工具 ，做一个学习型干部 ，建设学习型机关 。我们所做的事情多是前人未做过的 ，有许多新工具新问题 ，我们前进的蹊径上必定会充满难题和危险 ，加上千人桥的基础较量差、起点较量低 ，而希望抵达的目的要求又较量高 ，以是有很大的难度 。当今这个时代对我们干部的知识结构提出了更高要求 ，前进路上会遇到许多难题 ，必需要有新的步伐来破解难题 。没有钱怎么办?你说哪个地方做事有钱啊?都是应用先进的理念来破解难题 。我们一些村 ，一些单位嘴上喊着要生长 ，要为民办实事 ，心里也想为民办点实事 ，但现真相形是没钱为民办实事 。只好坐在家里等 ，一年、两年、三年已往了 ，一件事务也没办成 。而我们有些村和单位这一点就做得不错 ，找政策、找关系、找项目 ，每年都能向上争取个十万二十的!不但村容村貌改观了 ，干群关系也融洽了 。我们原来提出来三跑 ，跑项目、跑资金、跑政策 ，不可停在原来的思绪上 ，不可坐在那里“等、靠、要” ，要用先进理念来破解我们前进中的难题 。
,扒开白虎桶出水视频,免费看黄链接,大尺牍韩剧在线观看免费无马赛克电影 。??时势2：国产另类AV综合图区
??12月27日,梅西第八次当选“世界足球先生”,
其次 ，要认清城镇化的增进刊行动用 。城镇化是人类生产和生涯方法由墟落向都会转化的历史历程 ，是人类社会走向现代文明的主要标记 ，也是一个国家和地区经济实力和现代化水平的主要象征 。一是城镇化是推动经济一连稳固增添的强盛动力 。经济生长与城镇化亲近相关 ，据专家剖析 ，由于都会住民的消耗水平高于农民倍以上 ，城镇生齿每提高一个百分点 ，社会消耗品零售总额将上升个百分点 ，要拉动增添个百分点;城镇生齿比重每增添个百分点 ，住房消耗就拉动增添个百分点 ，二者综合相加 ，城镇生齿每提高个百分点 ，可直接拉动增添个百分点 。从天下经济生长情形看 ，城镇化率越高 ，经济越蓬勃 。天下银行的资料剖析批注 ，人均为美元的低收入国家 ，城镇化率为;人均为美元的中下等收入国家 ，城镇化率为 ，人均为美元的中等收入国家 ，城镇化率为;人均为美元的中上等收入国家 ，城镇化率为;人均为美元的高收入国家 ，城镇化率为 。我国经济生长的情形也是云云 ，东部沿海经济生长快的省市 ，城镇化率普遍较高 ，中西部地区经济生长相对缓慢 ，城镇化率普遍偏低 。二是城镇化是工业化的主要载体 。工业化需要集聚状态 ，只有工业生产的种种要素高度集中 ，才会形成集聚效应 ，而城镇化的历程就是生齿集聚和工业集聚的历程 ，能形成较大的商品流、物质流、信息流 ，对周边区域资源、手艺、人才、劳力等种种要素爆发越来越大的吸引力 。也就是说 ，城镇化可以为工业化提供高素质的劳动力和集中、高效、便捷的公共效劳 ，能够创立需求、刺激消耗、降低本钱、提高效率 ，加速二、三工业的群集 ，推动工业化向深度和广度生长 。若是城镇化滞后于工业化 ，则会对工业化生长爆发制约和阻碍 。“”时间 ，是我国城镇化、工业化加速生长的主要时期 ，面临着加速城镇化历程和走新型工业化蹊径的双重使命 ，而现在我国普遍保存城镇化水平低、城镇化滞后于工业化的问题 ，势必会严重制约工业化历程 。我市城镇化水平还较量低 ，这就制约了工业化生长 。若是不尽快提高城镇化水平 ，就会严重影响我市工业化生长历程 ，拖工业化生长的后腿 。这就要求我们必需认清温顺应经济社会生长的基本趋势和纪律 ，进一步增强加速城镇化历程的紧迫感和责任感 ，切实加速城镇化生长程序 。三是城镇化是农业工业化的增进实力 。城镇化的实质就是最大限度地镌汰农民 。城镇化水平的提高 ，可以从基础上改变农村生齿恪守农业找饭吃的古板名堂 ，可以加速农业经济结构和工业结构调解 ，为农业规模谋划和集约谋划创立条件 。通过生长城镇重大的群集功效和辐射作用 ，起劲培育农业工业规模谋划的组织优势、机制优势和立异优势 ，使用资源优势和区位优势 ，组建种种农产品生产加工基地 ，最大可能地使用城镇现有科技水平和手段 ，生产加工出高质量、有特色、低本钱的细腻农产品来 ，实现一条龙生产谋划规模 ，真正把农户与企业、生产与流通、莳植业和养殖业以及农产品加工业有机连系起来 ，使农业工业规；被劳谐钦蚧ㄉ璧靡允迪趾蜕 。四是城镇化是建设社会主义新农村的助推器 。建设社会主义新农村 ，最基础的照旧要解决“三农”问题 ，其基础出路在于加速推进城镇化建设 ，以工业的理念生长农业 ，增进农业工业化和农民增收;以都会的理念刷新农村 ，增进农村改变面目;以国民的理念转化农民 ，提高农民的素质 ，把大宗农村生齿变为城镇住民 ，一直提高农业劳动生产率 。工业化国家的实践证实 ，只有农村生齿数目下降到总生齿的以下时 ，农业土地集约式生产、农业规；凸ひ祷呕执镆欢ㄋ ，农业科技含量、效劳水平和农业效益才华大幅提高 ，农民文化水平和整体素质才会有显着前进 ，农业现代化才华够实现 。
,日本久久黄色网址,欧美插插,看一级毛片全裸做受 。??12月27日,浙江杭州：自动驾驶网约车上路试运行,
1、严抓班级纪律 ，着重从头脑上教育学生 。头脑的优劣是提高效果的条件 ，没有一个好的班级整体 ，优异的学习气氛 ，谈效果就会成为一句空话 。对结业班的治理要从严、从细 ，要刚柔连系 ，齐抓共管 。
,男男父子做爱视频免费观看,国产在线步兵一区二区三区,久久人人超国产三级 。??时势3：美国黄片AAAAA
??12月27日,2024东盟国际车展开幕 新能源车成主流,
这货怎么泛起的？！
,国产站二区,91啪啪福利视频,亚洲黄一级色视频 。??12月27日,打造“微型博物馆”举办社区“邻里节” 石景山画好家门口同心圆,
“小不点 ，不要去犯险！”族长石云峰高声喊道 ，适才的一切太快了 ，他都没来得及阻止 ，石昊就跃上去了 。
,国产一级a爱看片久久,7T7v屠夫网,李嘉欣被弄高潮视频 。??时势4：国产一二三精品无码不卡
??12月27日,藏族姑娘线上“吸粉引流”助力边境旅游，且看新时代守边人：恩嘎儿返乡创业记,
7、清静用电：不乱摆弄开关、插座等种种电器装备 。不乱接电源、乱拉电线 。严禁损坏电线和电器 。下雨天不在大树下或高峻修建物下避雨 ，避免雷击 ，不得损坏电线、电器及通讯设施装备 。
,.久久一级视频,国内自拍91桃色视频,免费www黄页网站图片 。??12月27日,科威特南部火灾事故死亡人数升至49人,
【中国式现代化为世界发展带来新机遇】
责编：郑利
审核：邰佳
责编：南雅砻
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
