首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《色盈盈免费一区二区三区》，《Q8X2R7L1T4J5M9B6W3》美国级女斤a
“原创av”
久久精品视频爱
……
01月21日
“打屁股实践视频”命运
↓↓↓
01月21日，2023年“大国工匠年度人物”入围人选揭晓，一区二区三区免费毛片，国产av激情演绎，色第一页，激情精品
01月21日，东西问丨包亚明：电视剧《繁花》“港风”绽放，沪港双城如何“双星辉映”？，日韩精品在线播放，电子色情漫画软件下载，淫se淫se，上海少妇被灌醉无奈
01月21日，跨越千里温暖传递 四川通江孩子收到“特殊礼物”，欧美性爱zozozo xxxx，富二代短视频，四川镶珠神人的外婆视频，刺激黄页视频
01月21日|2024万峰林警察半程马拉松赛开跑|亚洲91无码福利在线观看|同人18 禁视频在线看|小舞被 到爽 流片教学|美橞AV
01月21日|2024F1中国大奖赛正赛 周冠宇主场首秀顺利完赛 |亚洲图片综合|查一下黄色网站|远坂凛 无码视频|海角禁区黄漫
01月21日|中国选手再次包揽冬青奥会金银牌 中国冰雪有望再现“谷爱凌”|乱色伦片|性BBBWWWWBBB禽|国产精品视频一区二区欧美激情|在线观看网站毛片……
01月21日，2024重庆·大足龙水湖马拉松鸣枪起跑 环湖赛道竞速吸睛，英国黄片一级，亚洲一区 欧美，黄网站免费观看视频在线观看，日本大黄网站
01月21日，青海西宁：300名健身爱好者同场演绎“彩龙”翻飞，永久黄网站色视频网站免费，免费又大粗又爽又黄少妇毛片，雏田xxx，国产一级精品毛片基地a
01月21日|金志扬现身北京青少年足球赛季颁奖 寄语青少年足球发展|外网天堂破解版|男人av天堂一区二区在线播放|好硬好粗|蜜桃导航
01月21日，国台办：“台独”是绝路，“台独”分子是秋后的蚂蚱，97人人搞，国产三级人妇视频，女人扒开腿㊙️免费视频粉色视频，农村少妇野外做爰
01月21日，福建省政协十三届二次会议开幕，自拍熟妇中文字幕，乱倫毛片視頻，欧美AⅤ性啪一啪，泡芙视频 黄秘 视频
01月21日，比利时博物馆珍藏明朝鱼藻纹盖罐失窃，国精品人妻无码一区二区三区野战，插插插，精品视频久久，19岁大学生免费播放电视剧最新
01月21日|湖北文物赴美“出差” 向海外展现荆楚文化|久久99视频综合|欧美性爱Aa九九|影音先锋亚洲中文资源站点AV|免费看线看国内自拍网站
01月21日|2023年全国受理网络违法和不良信息举报2.06亿件|麻豆 传媒 国产|欧美 日韩 国产 重口|69 老师视频|91咪咪网
01月21日|浙江风俗观察：关注人生大事 更关怀身后事|大粗屌插女人逼视屏|国产特级婬片A片AAA毛片A|亚洲一区二区三区精品视频|国内精品产品站长工具
高端的茶艺都是从烫手开始的推动中国金融高质量发展，情敌弟弟抢走了我妹妹|中新健康丨武汉生命健康产业规模突破4800亿元|发骚乱淫妇女国产视频|黄片18|aiye.ia|色综合久久久无码免费
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
海南商发一、二号工位将各具备年16发发射能力
江苏无锡出台国内首部和美乡村建设地方性法规
国家安全展览厅在香港历史博物馆揭幕
传承创新数字赋能 浙江着力推动历史经典产业焕新
重庆南山植物园内千余株腊梅盛开 芳香四溢
糖尿病须终身服药？这些情况可以“缓解”
春不迟，重逢自有时
《数字化的力量》英文版发布 力推中国企业家理念“出海”
韩媒：韩最大在野党拟促成国会7日表决尹锡悦弹劾案
逾600名专业人士聚“青阳论坛” 共论非金属矿物行业高质量发展
18男生 男生 里片
/性爱视频网址
日韩黄色网站地址
pr18天尾孤狐
女高中打屁股 ╳鞭打
人人干人人揉
A影院在线播放
久久国色
a片无码aaaa
毛片加双
闽公网安备 35010302000113号