首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？椤
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿隆
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅痢
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍 ；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平 ；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《.欧美黄色视频一区二‘区三区》 ，《Q8X2R7L1T4J5M9B6W3》黑人XXXX高清精品
“免费AA片在线播放”
亚洲AⅤ免费在线
……
01月17日
“嗯啊在线观看小视频”哈里斯和特朗普民调结果不相上下
↓↓↓
01月17日 ，云南西双版纳持续释放开放活力 边境村幸福和美 ，精品无码一区二区三区少妇97 ，freexxx天美 ，三射面谈 ，欧洲强奸视频网站免费看一级
01月17日 ，广东广州、珠海将有暴雨 珠海部分地区升级发布暴雨橙色预警 ，免费观看在线A级毛片视频 ，18岁美女黄色网站 ，精品 国内 ，国产午夜导航
01月17日 ，一季度山西省对RCEP其他成员国进出口同比增18.7% ，91少女洗澡跳舞 ，GaY男男 免费网站软件 ，中文字幕一综合88久久 ，国产有色又黄又爽的免费视频
01月17日|以人类前途为怀 以人民福祉为念——2024年春季中国元首外交纪事|欧美大BBB流水|黄色视频手机在线免费观看网站|欧美国产538精品A级|一级一区二区毛片
01月17日|海南与俄罗斯“萌娃”在黑龙江共赴冰雪之约|日韩三级中文字幕|视频 国产|18岁禁播高清无码|国产片乱伦之一级毛片
01月17日|强降雨造成国道G318线四川雅江段断道|亚洲一级毛片无码超清|日本清高黄视频|杨超越裸乳被爆 白浆的漫画|xxxx 18到19岁……
01月17日 ，2023年或为10万年来最热 2024年地球还会再掀热浪吗？ ，5色网 ，久久免费A级片观看 ，免费A级毛片av无码久久 ，男人的 伸到 屁股里面视频
01月17日 ，国乒到公园与居民切磋球技：马龙温柔挥拍 王楚钦直呼“不好打” ，日韩在线播放视频 ，少妇被 到爽 流推荐vlp ，美国大片一级片 ，国产免费AⅤ视频在线观看
01月17日|（新春见闻）安徽绩溪跨界融合传承非遗手龙舞|黄色视频黄色视频黄色网站黄色黄色黄色黄色黄色黄色黄|七次郎对华更新绿色|女同性福利按摩片|满18周岁看得黄片
01月17日 ，中国首座三肢星型人行桥——南沙聚星桥建成开通 ，班长被 到爽 流作文 ，欧洲久久 ，黄色视屏网站免费观看 ，韩日一级黄色视频一区二区
01月17日 ，热带风暴“黛比”袭击美国：已致5人遇难 上千航班取消 ，二人扑克剧烈运动免费 ，a级黄毛片试看 ，人人干人人97 ，国产59视频精品
01月17日 ，业界人士：滑雪行业发展需培养更多终身滑雪者 ，🪀天天娱乐welcome大厅 ，日日干日日摸日日操 ，黄黄视频免费看 ，蝌蚪熟女泻火 熟女
01月17日|秦岭四宝科学公园就“录制节目影响游客游览体验一事”进行道歉|91看片新地址|安迷修被雷狮用大鸡巴操干|撕开 吸奶头 进 一期|黄色精品免费看
01月17日|云南镇雄山体滑坡：搜寻到10名失联人员|欧美刮伦超碰|五月天乱伦网|小 入 免费观看视频|欧洲激情无码一区二区三区
01月17日|推动高质量发展·权威发布｜甘肃：连续7个季度经济增速保持在全国第一方阵|欧美高清视频在线|www . heyzo . com|97干超碰|自拍 欧美 亚洲
Faker确诊新冠 ，S14最有含金量的一冠|赵乐际在十四届全国人大二次会议上发表讲话|看一级片|无毛黄色视频|欧美性爱试看|国产精品黄片视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
香港中资企业为百名中学生提供短期职业体验
中国首个百万千瓦级海上光伏项目并网特朗普：马斯克和拉马斯瓦米将共同领导“政府效率部”
探访海关办公室里的“博物馆”：样品小宝库助力国门大安全
菲船只非法冲闯仙宾礁附近海域 中国海警依法依规采取管控措施
第十届华厦眼科青光眼论坛启幕 开创微创诊疗新格局
防范极端意识形态，澳大利亚提升恐怖威胁级别
火箭造完怎么从“躺着”变“站着”？答案在这扇“神秘巨门”后→
巴黎奥运 | 奥运精彩瞬间 Day 10
在匈牙利罗兰大学感受中文热
春运期间东航加大在湖北市场运力投放
a一级毛片在线观看
www.tom967.com
关晓彤比基尼三角裤
扒开男仆的 用手指调教男同
av在线www,
美女被爽到巨乳网站
在线观看V免黄色视频
日韩人妻无码一区二区三区免费
zjlzjlzjl美国zjl
3D动漫同人操逼
闽公网安备 35010302000113号