首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《538无毒不卡在线观看》 ，《Q8X2R7L1T4J5M9B6W3》永久网址美女视频网
“男Gay互摸雞巴巴自慰小说”
日批视频不卡
……
01月16日
“精品国产三级大全在线观看”张颂文马嘉祺林家川哭了
↓↓↓
01月16日 ，最新放假通知！ ，色哟哟日本1日韩一级录像 ，亚洲欧美福利三区 ，亚洲九九视频 ，久久黄色网站视频
01月16日 ，江西集中整治公路路域环境 严打侵占公路路权违法行为 ，亚洲杯久久亚洲熟妇熟女 黑丝线 ，亚洲t∨ ，精品免费一区二区在线观看 ，国产在线欧美日韩A∨精品
01月16日 ，瞭望·第一学习｜传承中华优秀传统法律文化 ，|级2级黄色视频 ，女仆呻吟 ，西方最大但人文艺体 ，最新免费黄色网站连接入口
01月16日|国家统计局：预计2024年居民消费价格会温和上涨|国产区123|米奇狼狠鲁最新版本更新内容|日本肏屄视频|18岁禁看黄色视频
01月16日|漫话小年｜奏响春节的序曲！|国产粉嫩小泬在线观看泬|亚洲Av库在线观看国产|动漫jiji 进美女的屁屁里|张婧仪瑜伽裤唇形
01月16日|哥伦比亚总检察长办公室：机场机库没有发现尸体痕迹|张柏芝雁门照片高清电影观看|95A片视频|老师让我用小 戳她|中文黄色网址……
01月16日 ，三岁幼童万米高空被噎 广西南宁为航班备降开辟生命通道 ，538精品免费视频手机在放 ，守望人妻 ，在线观看日批视频网站 ，欧美性生话片
01月16日 ，2023年中国警方缴获毒品25.9吨 ，女同学被 到爽自慰网站 ，性交性欧美 ，表妺穿白丝忍不住c了 ，久久人妻无码专区精品碰碰
01月16日|【央视快评】坚定不移走中国特色金融发展之路|天天干宗合网|图片、小说、亚洲|成在线人影院|欧美丝袜性爱视频
01月16日 ，香港青年赴北京交流 增进对国情和首都文化了解与认同 ，国产精品一IGAO一视频网 ，性交欧美三级在线 ，在线人人操 ，森林交易现场HD
01月16日 ，五部门：加强金融支持乡村全面振兴专项行动 ，日韩欧美国产另类 ，久久99国产精品综合毛片 ，大乳奶头晃着喷奶水H男男动态图 ，亚洲第一黄色在线观看
01月16日 ，“舌尖美食”助力湖北与东盟贸易合作 ，JIZZJIZZ亚洲美女丰满 ，8x8ⅹcom永久免费视频 ，午夜激情 欧美 ，欧美天天看A片在线观看下载
01月16日|两机相撞后坠海？日本海上自卫队最高官员道歉|精品成a人在线看片|精品国产免费人成网站麻豆|国产 原创 自拍|三级在线视频,网站
01月16日|宁夏农垦集团有限公司原党委书记张戈接受审查调查 |女人的坤坤放在男人的坤坤上|欧美性爱电影播放|黑人黄片|精品免费黄色视频
01月16日|首届中国泉州丝路小吃节掀起古城“味蕾风暴”|三级片黃色片A片|欧美婬片内谢A片AAA|黄色动漫下载|欧美性爱电影在线播放
吴磊 你好不好 ，索尼最新发布会消息汇总|6000多元机票仅退269元算霸王条款吗？律师解读|97人人爱人人操人人爽|李毅吧100期最新动态|最黄a片黄片全过程|www..com九九热
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
浙江：平均年龄18岁的“小委员”走进杭州市两会
中央气象台：西北地区东部黄淮及以南地区有雨雪
最高人民法院公布十年生态环境司法保护（修复）示范基地
“大美青海·侨贺新春”2024甲辰新年音乐会在青海西宁推出
太原检方出台“十项举措”护航民营经济：坚持治罪与治理并重
数字人民币在微信内应用“扩容” 已接入数百万家商户
发展特色农牧业 绘就高原好“丰”景
兰州：诗意山川“邂逅”现代浪漫
多国重申坚定支持一个中国原则
（新春走基层）乌鲁木齐：市民选购花卉为新春添彩
2020免费A级毛片无码
久久r久久精品国产99热
色呦呦呦呦
美国久久免费视频
亚洲精品自拍偷拍
好大好深好猛好爽免费视频
一本一本久久a久久精品综合麻豆
在线观看亚洲一区二区每日资源
国产一级A片在线观看视频
91人妻在线综合
闽公网安备 35010302000113号