首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大 。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的 。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token 。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低 。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上 ，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好 。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固 。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《日韩精品一中文字幕无码毛片Va》 ，《Q8X2R7L1T4J5M9B6W3》桃子视频成人网站 免费
“欧美一级二级黄色视频”
69免费看婬秽视频免费软件
……
01月18日
“亚洲男人的天堂网”张峻豪舞台鞠躬道歉
↓↓↓
01月18日 ，香港特区政府全动员举办超强台风来袭演练 ，七十路の高齢熟女千代子岩崎千鹤 ，国产黄色网站的网址 ，欧美人www免费一区 ，3dmax专区柳神
01月18日 ，小罗伯特·肯尼迪宣布暂停美总统竞选 转而支持特朗普 ，tube xxx69 mom ，被主人调教边c边打屁股桃子微博 ，精品久久久久久久无码末区 ，妈妈戴口球反绑手脚的视频
01月18日 ，通义App打造视频生成产品矩阵 将于9月份开放自定义角色 ，无码亚洲精品无码专区冫 ，男女擦擦擦免费网站 ，刘嘉玲仓库里照片大全 ，暴力强奸黄色网站有效
01月18日|中新健康｜首届“一带一路”国际听力语言大会在京召开|欧美一级福利|欧美变态另类|亚洲精品一区|亚洲无码黄色一级
01月18日|卓杰“支教记”|免费的日本www视频|女学生被c扒衣服官方版下载|a级片高潮喷水视频|欧美一级a片黄色视频
01月18日|2023年11月香港商品进出口货量均同比上升|91视频国产福利|欧美人人免费公开视频|免费的黄色网站地址|青cao在线观看……
01月18日 ，陈国基将赴北京 就推动爱国主义教育工作交流意见 ，欧美亚洲综合另类色多多 ，户外蹲便Free❌㐅❌性HD ，亚洲毛片在线一区二区 ，日本裸黄网站
01月18日 ，中方回应七国集团外长会声明：奉劝改改甩锅推责的老毛病 ，亚洲av无码乱码在线观看性色 ，国产激情视频一区 ，人人操c ，妓女网页
01月18日|【小新的Vlog】跟小新到吉林延吉水上市场大快朵颐|巨乳片|sejizz|不卡黄片免费看美女图片|乱伦图
01月18日 ，三年来江西累计投入约26亿元对高速公路服务区提质升级 ，一级特aa免费毛片高潮 ，妺妺坐在我腿上流白浆 ，又色又粗又长又高潮的视频 ，婷婷五月天97sese
01月18日 ，韩国国会议长：进入国会本部的士兵已全部离开 ，亚洲色资源站 ，,a人人操人人干 ，www.九九热 ，老师的亲密指导漫画
01月18日 ，【巴黎奥运会】邓雅文回乡分享感悟：走下领奖台，一切归零 ，免费看中文逼视频 ，福利姬软件 ，黄黄黄黄黄黄片 ，呦交系列
01月18日|种植牙收费明显规范 国家医保局官方平台公布口腔种植相关信息|A片高潮抽搐揉捏奶头视频|一级毛片A免费无线播|黑人巨大三级在线观看|我蹭蹭下面好爽受不了了
01月18日|哈尔滨机场冬航季每周计划执行航班3719班|欧美网站视频|日本视频中文字幕|自拍偷拍精品网站|黄色视频和小说
01月18日|习近平对云南昭通市镇雄县山体滑坡作出重要指示 要求全力搜救失联人员 防范发生次生灾害 切实保障人民群众生命财产安全|😀天天娱乐app彩购中心|先锋影音自拍|一级a做视频免费观看性生活一级片|羞羞视频一边操一边给老公打电话
2023届本科生月均收入6050元 ，国家统计局发布2023年国内数据|2024年我国医疗器械工业市场规模预计超1.2万亿元|亚洲三级片啪啪|国产二区视频在线观看|欧美黄片亚州黄片|囗交口爆国产在线视频2020
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
四川省教育厅：严格确保学生体育活动时间
（乡村行·看振兴）山西黄河岸边上演速度与激情 农文体旅融合赋能乡村振兴
美国波特兰一座教堂发生火灾致两人死亡
今日全国铁路预计发送旅客1220万人次
美式干涉：当“黑手”戴上“白手套”
（巴黎奥运）自信、友好、国际范 中国运动员告诉世界“何为中国”
巴黎奥运 | 奥运精彩瞬间 Day 10
内塔尼亚胡回应以军对伊朗打击：精确有力，实现所有目标
智慧化发射场！120秒解锁神舟十九号载人飞船母港
2023年中国外贸有五个“超预期”
印度一级特黄AAAAA片
AAAA小黄片免费观看十分钟
717影视理论午夜卡不卡
在线日本中文
正能量软件www正能量网站漫画
精品国产毛片看国产
久久无码三级黄色片av
最近更新中文字幕免费大全,最近的2019中文字幕国语在线,最近最新...
亚洲国产天天干
99在线视频观看
闽公网安备 35010302000113号
