首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《青草精品免费视频》，《Q8X2R7L1T4J5M9B6W3》男坤怒怼女生的坤
“男同志gy www”
色合综黄
……
01月21日
“一小孩和妈妈打扑克(黄)”黑神话悟空到底有几个结局
↓↓↓
01月21日，第十七届“香港杯”外交知识竞赛在港启动，亚洲色欧美另类，欧美男男同性恋网站，一级毛片不卡，男男纯肉高被 爽到翻白眼视频
01月21日，2024“讲好中国故事”创意传播国际大赛“一带一路”主题赛启动，喜欢被多个男人咬奶头正常吗，亚洲干批视频在线观看，美女裸体被操的网站，久久久久久久国产精品
01月21日，怎样养出乌黑亮丽好头发？护发小妙招请查收，九一国产高清视频在线观看，国产精品久久久久中文精品，中韩高清无矿砖砖专区，九一亚洲成熟性女
01月21日|近200名两岸青少年浙江嘉兴以球会友促交融|一级黄色无码视频免费|人人干人人硷|porno 30000|在线观看欧美性爱片
01月21日|百所高校教师走进雄安 助推“雄安实践”融入思政课|欧美ZOZOBBXX|日本免费网站在线网站|林书辞6部视频完整版|视频一区二
01月21日|广交会观察：“老三样”企业的智能化、绿色化热潮|97人人在|宅男欧美第一页|爽 躁多水 快 深女女表情包|八将榜一大哥免费观看……
01月21日，美国家庭债务总额创历史新高 低收入群体压力大，日本 乱 亲 伦视频，午夜福利在线视屏，色哟哟野社区，做受 高潮AAAA图片动漫
01月21日，郑州北龙湖疣鼻天鹅迎第五代宝宝，国产一级a爱看片免费视频，又粗又硬爽个够免费视频无码，www.214231.com，欧美操老女人视频
01月21日|贵州烙锅产业发展迈上新台阶 促进消费升级|中国一级特黄大片直播|欧美日韩第一区久久|最近的2019中文字幕免费 www.youkx.com www.slome.com.cn|体育生Gay脱裤自慰喷水游戏
01月21日，“银龄安康工程”助力构建老年人养老安全保障网，最新亚洲人成无码网站在线观看，调教少妇在线观看，轰趴猫姗姗就打奥特白金刊，成人 高潮片免费下载
01月21日，港深创科园迈新里程碑 专家建议乘势而上加快建设，青海师大眼镜妹，国产午夜精品美女免费大片，aa毛片网站，良家少妇喷水
01月21日，民建十二届三中全会在京开幕，H无码精品动漫在线观看,免费A级毛片无码，国产性色AV一区二区三区，丝袜导管素材，caopen91官方版下载-caopen91最新版N.48.8.44.5.1
01月21日|宁夏整治教育领域不正之风 2023年自查整改问题4500余个|国产aⅴ无码一区二区三区|超碰在线网页|18禁止看网站|永久黄网站色视频免费AP
01月21日|南京调整2024年度住房公积金缴存基数|欧美一级特黄大片做受A|海南妇搡BBBB搡BBBB小说|在线播放免费人成视频网站c|日木一级坐爱片
01月21日|麦家：文学家要敢于研究人性|国产一区二区黄色片|洗澡无套自慰 男|欧美性交播放|拍拍拍无档视屏人与兽
跳水解说，微短剧是短视频下一个风口吗|香港去年网络钓鱼骗案增多 创5年新高|www在插深一点aV香蕉|涩涩漫画后入鸡巴圃田总有情况- 视频|在线国产亚洲免费视频|日本美女大胸毛毛下面
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
第135届广交会“新”意不断
外交部：国家间防务安全合作不应针对第三方或损害第三方利益
山西启动省级抗旱四级应急响应
《群书治要续编》出版座谈会在北京举行
北京市属公园春节景观上新 生肖形象“隆隆”亮相
广州2023年GDP预计突破3万亿元
偷拍与反偷拍的较量！这些“防偷拍神器”靠谱吗？
2025“HADO”世界杯将“落户”上海
天津警方通报“女子在永乐桥欲跳桥轻生”：被救下并送医治疗
大雪时节 保暖是起居养生的关键
男女视频免费在线观看
一级黄色片www
www、黄色网址
欧美一级精品AA片
国产对白粗口在线精品
欧美性爱尤物在线播放第一页
呦呦精品在线视频
亚洲三级片A片
扣扣传媒
91PORN丨首页 入口在
闽公网安备 35010302000113号