首页
新智元报道
编辑:LRST
【新智元导读】香港中文大学提出了一个全新的算法框架RankSEG,用于提升语义支解使命的性能。古板要领在展望阶段使用threshold或argmax天生掩码,但这种要领并非最优。RankSEG无需重新训练模子,仅需在推理阶段增添三行代码,即可显著提高Dice或IoU平支解指标。
在语义支解使命中,通常接纳「在展望阶段,通过对概率图应用threshold 或argmax来天生mask」的古板范式。
然而,你是否思索过:这种做法真的能够最大化Dice或IoU等主流支解评估指标吗?
香港中文大学的最新研究证实晰这一古板要领的次优性,并提出了一种立异性算法框架RankSEG,无需重新训练模子,仅需三行代码即可显著提升支解性能。
系列事情包括刚被NeurIPS 2025吸收的高效支解算法,以及揭晓于JMLR的焦点理论,还开源了配套的Python工具包,无需重训模子,仅通过增添三行代码,即可有用提升支解指标体现。
NeurIPS论文链接:https://openreview.net/forum?id=4tRMm1JJhw
JMLR论文链接:https://www.jmlr.org/papers/v24/22-0712.html
代码链接:https://github.com/rankseg/rankseg
若是业界从业者希望最大限度地「榨干」支解模子的性能,只需阅读第一节,即可解锁怎样将RankSEG无缝集成到现有流程中。
开源软件包
研究职员提供了一个易用的RankSEG类,初始化时可指定需要优化的支解指标(如 Dice、IoU 等)。随后,只需挪用predict要领并输入概率图,即可获得优化后的展望效果。
现实使用时,只需将原有的probs.argmax(dim=1)替换为rankseg.predict(probs),即可轻松集成,无需过多改动,简朴高效。
RankSEG与古板argmax要领的效果比照,使用统一个训练好的模子,唯一的区别仅在推理阶段的处置惩罚方法。图中用红框举行了重点标注:在第一个例子中,RankSEG 乐成识别出桌子上的小瓶子;在第二个例子中,RankSEG乐成支解出了被遮挡的人脸;第三个例子捕获到更完整的肿瘤块?梢韵宰趴闯,RankSEG在小物体识别和处置惩罚被遮挡等重大场景时,支解效果相较于古板 argmax 有显著提升。
Demo链接:https://huggingface.co/spaces/statmlben/rankseg
QuickStart:https://colab.research.google.com/drive/1c2znXP7_yt_9MrE75p-Ag82LHz-WfKq-?usp=sharing
文档链接:https://rankseg.readthedocs.io/en/latest/index.html
古板threshold/argmax的局限性
现在主流的支解流程,通常通过训练模子来预计每个像素的种别概率,随后接纳threshold或argmax要领天生最终的展望掩码(Mask)。
这种逐像素分类(pixel-wise classification)的要领,优化目的是像素级的准确率;但支解使命真正体贴的,是整体的重合度指标(如Dice或IoU),二者并不完全一致。
理论上,古板的threshold / argmax展望方法是次优的(suboptimal)。例如,在下面这个由两个像素组成的简化场景中,即便其中一个像素的展望概率低于0.5,为了获得最优的Dice分数,依然应该将其判断为远景。简朴来说,逐像素最优解纷歧定能带来全局最优的支解效果。
左侧红框给出了最终支解效果,右侧展示了简要的盘算历程。其中,体现通过threshold/argmax获得的展望效果。
可以看到,这种展望方法对应的Dice分数并未抵达最优;而为了获得最优的Dice,现实上应当将第二个概率低于0.5的像素也判为远景,这个例子直观地展现了古板threshold/argmax要领在整体支解性能上的局限性。
焦点理论:RankSEG
那么,怎样才华获得最优的支解展望呢?下面的定理给出了理论上的解答,并指出了实现该最优性的详细要领(这里以Dice指标为例,类似的思绪同样适用于IoU优化)。
这个定理可以分为以下几个要害部清楚确:
Dice期望的盘算
已知每个像素的概率值,输入展望的mask,该 mask 的Dice系数的期望可以体现为:
只要遍历所有可能的二值 mask,盘算对应的Dice期望,并取最大的那一个就能获得最优解。然而,所有mask的组合数为2的d次方,盘算量呈指数增添,直接穷举在现实应用中不可行。
排序性子
定理进一步指出,只需关注这样一类特殊的mask:
即概率值排序后,取前大的像素展望为远景。那么只需要搜索「体积」从0到d,大大镌汰了盘算重漂后。
这里隐含了一种排序(Ranking)性子:若是像素j的概率大于像素j'的概率,那么把j判作远景对Dice期望的提升更大。该事情针对这一直观结论给出了严酷的理论证实,也由此取名RankSEG。
自顺应阈值的最优展望规则
这里,是遍历差别体积,找到Dice期望最大的对应阈值。与古板的牢靠阈值差别,这种阈值是自顺应(adaptive)的,会凭证每张图片的概率漫衍动态调解,不再局限于 0.5。
符号记号及期望公式的化简:为简化后续推导,我们将上述Dice期望重写如下:
其中是去掉第j个元素后的向量,(替换)为剩余像素的远景体积。
由于每个像素是自力伯努利漫衍,实质上听从泊松二项漫衍(概率完全相同则退化为经典二项漫衍)。
RankSEG定理直接以寻找Dice最优展望为目的,巧妙地使用排序性子,带来了精练且高效的支解展望要领。不过,在定理的现实应用历程中,仍保存两个主要挑战:
期望值盘算的重大性:对每个候选支解,Dice期望的准确盘算开销大;
多种别支解的最优描绘难题:在多种别(multi-class)语义支解场景下,由于每个像素只能归属于一个种别(即「无重叠」约束),最优展望的描绘以及直接优化全局指标都变得越发重大和棘手。
针对以上难点,研究职员引入近似化的技巧,旨在进一步简化盘算,同时提出更为适用(practical)的算法计划,以增进RankSEG在种种现实支解使命中的高效应用。
高效近似算法:RankSEG-RMA
RankSEG的盘算重漂后较高,限制了其在高维图片中的现实应用,最新的算法(NeurIPS 2025)引入倒数矩近似和多种别支解。
倒数矩近似
RankSEG盘算的主要瓶颈在于每个候选掩码都需要准确盘算Dice期望。
详细而言,难点在于求解如下关于的倒数期望项:。该期望需要针对每对重新睁开d项求和;若是能够找到一个近似表达式,使得该期望对差别的和j无需重复自力盘算,就可以一次性高效推断,并在差别的评估中复用效果,从而大大降低整体盘算重漂后。
首先,注重到在目今的图像支解使命中,像素数目d通常很是大。
在这种情形下,去除单个像素j前后的和(即与)之间差别极小。因此,可以用直靠近似,从而消除了对像素j的依赖。
其次,针对泊松伯努利漫衍,进一步视察到:当d足够大时,倒数的期望和期望的倒数很是靠近。
因此,后者可以作为前者的近似值,这样一来,期望的盘算同样挣脱了对的依赖。研究职员将这种近似称为倒数矩近似(Reciprocal Moment Approximation, RMA)。
借助该要领,用定理2中的替换原来的,在显著提升盘算效率的同时,依然能够坚持较低的近似误差。
这里和前缀和都可以提前一次性算好,并在后续所有的评估中重复使用,整体盘算重漂后仅为。
多种别支解
RankSEG的框架可以自然地扩展到multi-label场景(即单个像素允许属于多个种别)。然而,在多种别单标签(multi-class)支解使命中,每个像素只能分派一个类别的「非重叠」约束,使得直接扩展RankSEG会涉及到重大的匹配(assignment)问题,盘算重漂后显著提升。
为此,研究职员提出如下近似算法,兼顾了效率与精度:
1. 自力二值支解:对每个种别自力应用RankSEG-RMA算法,划分获得各自的binary mask。
2. 去除重叠:关于展望效果中重叠的区域,仅保存masks之间无重叠部分,舍弃多种别同时展望的像素。这一步可能导致部分像素没有被分派给任何种别。
3. 盘算提升值:关于这些未分派的像素j,盘算其加入差别类别的提升值,其中c是种别,是已分派给种别c的像素荟萃。
4. 贪心分派:在重叠或未分派像素中,凭证最大增益为每个像素j选择种别:
这种要领虽然在最后一步引入了 argmax 机制,但与古板要领相比,具备以下两个显著优势:
选择性使用argmax:只有在重叠区域才接纳argmax,而大部分像素展望仍然由RankSEG原始算法直接决议,充分验展了RankSEG的优势。
Principled scores:反应的是某像素j被分给种别c后Dice期望的提升,因而比纯粹的概率最大化更切合支解性能的优化目的。
需要说明的是,此要领实质上是一种贪心的近似战略,由于仅思量每次加入单个像素时的「瞬时」效益,未全局协同优化。
但实验效果显示,在兼顾盘算效率的同时,该要领能够带来不错的支解性能提升,体现出了合理的适用价值。
实验效果
研究职员在多个主流支解数据集(如PASCAL VOC, Cityscapes, LiTS, KiTS等)和多种深度学习模子上举行了普遍实验,验证了RankSEG系列要领的优越性。
从表中效果可以视察到:
性能提升显著:RankSEG系列要领相较古板的argmax展望机制,在支解精度上均有显著提升。
高效近似性:RankSEG-RMA与原始的RankSEG-BA在支解性能上险些无损失,但推理速率提升数十倍,极大地提升了现实应用的效率。
整体开销较低:只管RankSEG-RMA在推理阶段相较于argmax在绝对时间上有增添,思量模子前向(model forward)时间后,其整体盘算开销增添有限。而原始的 RankSEG-BA,其耗时则靠近于模子前向撒播时间自己,限制了现实安排。
公正性比照:所有用果均基于统一个训练模子,RankSEG 作为模子输出的「后处置惩罚」操作,阻止了因神经网络训练历程中的随机性导致的性能波动,包管了比照效果的客观性。
参考资料:
https://openreview.net/forum?id=4tRMm1JJhw
秒追ASI
?点赞、转发、在看一键三连?
点亮星标,锁定新智元极速推送!
《国产 中文 制服丝袜 另类》,《Q8X2R7L1T4J5M9B6W3》中文字幕精品视频一区
“我解开胸罩喂男朋友吃奶”
秋霞精品色图
……
01月07日
“日本老熟妇人人干人人操”华硕宣传可自动加速原神剧情
↓↓↓
01月07日,以色列防长:加沙北部“高强度”战斗已结束 ,午夜欧美精品久久久久久久久,jizzjzz中国,视频一区国产在线中文,嗯啊,在线看片h
01月07日,传递“飞虎情谊”推动友好交流发展 美中航空遗产基金会代表团访问新疆,高清无码毛片儿,G头条百万彩虹解锁版安卓版特色,一起草 久久蜜桃,免费一级黄色视频网址
01月07日,法国专家:中法务实合作促进全球和平与发展,国产 激情 91,黄A片一区二Q,国产黄色av性爱大片,日韩三级中文字幕
01月07日|浙江多措并举 助力民营企业外贸发展|宁荣荣黑色蕾丝内衣套装跳舞|东京热坂道美琉视频黄网站|欧美 校园 自拍 小说 图片|欧美性爱无限看
01月07日|记者手记:在利马唐人街寻味中国|3及片黄色网站午夜福利|黄色网站上毛片子上黄|TS人妖穿白丝被c到高潮|国产精品看片网站
01月07日|习近平向2024年“读懂中国”国际会议(广州)致贺信|熊猫电影yy8y3免费|爱搞.com|国产免费黄色视频一区二区三区|亚洲一区免费观看……
01月07日,被指“文化人抄袭文化人”?董宇辉直播间再上热搜,日韩精品一二,婷婷六月久久综合丁香hd,a级操逼视频,视频免费观看一区二区
01月07日,(新春走基层)山西雁门关外施工忙 守好最后一班岗,狼友视频在线观看网址首页,97超碰人人干人人摸,大大操黄色网站免费,黄片在线色
01月07日|北美票房:《功夫熊猫4》首映夺魁 《热辣滚烫》冲入十强|午夜男人的天堂精品无码|jizz有基视频色欲|WWW.偷窥偷拍.c0m|欧美性交黄
01月07日,“网红主播”是员工还是伙伴?,狠狠亚洲一区,色色色资源网站,美人吹箫在线观看污污污,国产中文字幕第二页
01月07日,HICOOL全球创业者峰会上的黑科技,欧美人与动牲交a欧美高清,iGAO激情在线观看,欧美性爱ⅩXX,中国一级黄片不卡钉
01月07日,【台胞“申”活】打卡魔都|曾泰元:在上图东馆感受“智慧”阅读,最新国内自拍视频在线观看,欧美黄色片在线观看,明星合成裸体论坛powered,日韩美a∨无码中文字幕
01月07日|菲律宾一海军直升机紧急迫降致5人受伤|欧美3dxxx旧里番动漫|大陆一级毛片免费完整视频|和王黄黄片女的和男的操逼和王黄黄片和男的1998|国产精片自拍
01月07日|上海民族乐团《海上生民乐》音乐会在香港举行|巧露视频站|久久免费视频播放黄搞|国产超薄丝袜脚久久久久久|少妇做爰XXXⅩ性高湖麻豆
01月07日|发朋友圈前,你会犹豫吗?|搞机time下载不用收钱|农村一级毛片妓女|国内揄拍国内精品人妻图片|未满18看 插
执法人员店内打砸扇耳光 已道歉,冰雪谣|重庆多部门吁山城扩大引进东盟产品|xvideos软件免费下载|国产男女羞羞视频免费一区|91丝袜蜜桃臀白浆喷射视频|免费黄网站一区
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺
广州今年早造种粮预计约21万亩 推动增产增收
传承精华 藏药飘香
“新”人接力 续写北大荒希望之旅
湖南降雨持续偏多 洞庭湖水位已超2023年最高值
云南出台促外贸资金管理办法 鼓励“买周边到全国、卖全国到周边”
敢作善为抓落实
“抑”路前行 “百城万人健心跑”再启抗“郁”联合行动
云南省社会主义学院党组成员、副院长潘玉良接受纪律审查和监察调查
美学与运动兼备的梦想之车 新BMW 4系家族澎湃上市
“五一”假期游客探寻李叔同故居纪念馆 开启文化体验之旅
啊嗯黄色网站大全在线观看
久久人人97超碰精品97
男人操女人逼
AV天堂国产一区二区三区
九一在线激情视频
在线观看未禁18免费视频网址
影音先锋无码在线
激情 欧美 综合
黑子内透下载
欧美一级A片免费观看2021

闽公网安备 35010302000113号