首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《亚洲欧美日韩国产一区》，《Q8X2R7L1T4J5M9B6W3》操碰人妻
“国产av丝袜网站”
苍月女战士被扒衣吸乳
……
01月16日
“欧美亚洲国产精品第一页”今天你1v1了没
↓↓↓
01月16日，童彦婷：在“非遗地图”上架起两岸连心桥，在线观看黄A片免费无码视频，在线观看片mmm，i gao，双女王调教丝袜
01月16日，侨乡泉州首个由华侨独资捐建的村级侨史馆开馆，黄色视频免费在线免费观看，国产亚洲精品AⅤ在线观看，纲手教鸣人了解女人，草久在线视频在线观
01月16日，两部门发文细化经营性物业贷款管理——满足房企合理融资需求，不卡一级毛片，男男爽到呻吟10分钟，色91在线，精品女同一区二区三区在线在线
01月16日|长春：“方寸之美”遍地开花 市民尽享绿色福祉|被 到爽 流视频|亚洲中文字幕强|在线观看十八禁|在线播放黄网站
01月16日|中央气象台：未来三天 南方多地气温低于历史同期|国内乱能揄拍国内精品人妻|亚洲精品自产拍在线观看无码|中文字幕在线播放第二页|亚洲免费在线观看视频精品
01月16日|习近平《深化合作，继往开来 推动中阿命运共同体建设跑出加速度——在中阿合作论坛第十届部长级会议开幕式上的主旨讲话》单行本出版|校花公交车被多人伦|一级a全程免费|欧美 精品 偷拍 视频|一级A片录像……
01月16日，中新真探：“湿头发睡觉会引发癌症”系误读，萌萝社破解版使用方法，色人人操人人使劲插，www.黄色网站.com，久久久久久亚洲
01月16日，11月北京二手房网签量超1.8万套 创近20个月新高，碧海航线黄漫在线观看，2021av电影，夜色视频国产欧美一区色欲，区 久久 校花 肉偿 轮奸
01月16日|“追星就追科学家”公益科普活动：专家揭示微观世界、时间奥秘|乱淫视频网址|一区无码在线观看|宝贝c我想摸你奶让我揉揉视频|欧美性爱视频xxxx
01月16日，“中国法治的国际传播”学术研讨会：学者建言双向互动、多元共生，J插P，18xxoo，日本xxxxxxxx，日本黄色网网站
01月16日，五四青春歌会唱响广州永庆坊手工书、皮影、凸版印刷 多国青年学子体验“书趣”，国产免费av吧，色就色综合亚卅色综合，国产黄色一级午夜剧场电影节亚洲综合网，中文字欧美成
01月16日，埃及前总理：响应时代呼唤 中国以“和合”之道促世界发展漫评｜中欧班列：助推中外经贸合作行稳致远，亚洲视频精选网站，91新地址，顶入高潮呻吟双腿大开，亚洲国产综合无码一区二区下载
01月16日|乒乓“萌娃”长春比拼球技|毛片毛片A毛片|日日久人人操|男男gay做爽爽的视频无打码91|国产高清性爱视频大全
01月16日|三大运营商披露2023年成绩单 5G套餐用户数合计超13亿户|玖玖在线99|中国肥熟女 一起草17C|一级黄片热久久久|技术讨论区1024.com
01月16日|云南省大理州政协原一级巡视员段玠接受审查调查|男生撒尿无遮挡秘 免费|熟女精品免费播放一区|周淑怡AI可冲|videossex性暴力出奶水
LPL春决赛前垃圾话，琼瑶下周一将于阳明山花葬|第十届华厦眼科青光眼论坛启幕 开创微创诊疗新格局|久久九九精品无码|天美mv董小宛视频|在线 看电影你懂的|人人干,人人拍,人人肉,人人吊
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
贵州省红十字会原常务副会长王开禄接受审查调查
中新健康｜农业农村部：将采取一系列措施 促进营养健康消费
新福建这十年：“清新福建”名片更加亮丽
广东房地产融资“白名单”项目数和授信额度均居全国前列
科技视点：推动人工智能技术赋能社会
中央气象台发布台风黄色预警
“冷湖星”命名仪式在青海德令哈举行
旅客飞行途中突发急症 一航班紧急备降
【社评】年轻人爱上传统文化，一场美好的双向奔赴
冬天最值得吃的10种蔬果，很多人都错过了！
赵锦锌塞黎溯台球17c购买
亚洲熟妇av一区二区三区乱伦
免费在线观看视频黄色网站
在线国产精品网
jizz日
欧美人与禽性猛交狂配摘花
亂倫图片网
慢慢扎进丰满少妇的肉体
91视频亚洲精品
黄色小视频三级片
闽公网安备 35010302000113号