猫眼影戏
 |
|
猫眼影戏
张汇仓
手机审查
猫眼影戏记者 江·伊明 报道Q8X2R7L1T4J5M9B6W3
henry 发自 凹非寺量子位 | 公众号 QbitAI
LLM的下一个推理单位 ，何须是Token？
刚刚 ，字节Seed团队宣布最新研究——
DLCM（Dynamic Large Concept Models）将大模子的推理单位从token（词） 动态且自顺应地推到了concept（看法）层级。
DLCM通过端到端地方法学习语义界线 ，动态地将Token序列支解成看法 ，在压缩后的看法空间中举行深度推理 ，并借助因果交织注重力将看法级推理效果重构为Token级展望
由此 ，古板LLM中基于匀称、冗余Token信息密度的盘算分派 ，被转化为面向看法的动态推理与自顺应算力分派。
在以推理为主的基准使命上 ，DLCM在将推理阶段FLOPs降低34%的同时 ，还将平均准确率提升了2.69%
这也意味着 ，大模子的推理效率并不必定依赖更麋集的Token级盘算 ，而可以通过更高层级的语义组织来获得。
接下来 ，我们详细来看。
分层的下一token展望框架
如上所说 ，DLCM的焦点在于学习动态的Token-看法映射 ，实现了盘算资源的自顺应分派。
之以是这样做主要有两方面缘故原由：
一方面 ，在自然语言中 ，信息的漫衍并不是匀称的 ，而是集中在集中在少数语义转换的节点上。
然而 ，在目今的LLM中 ，所有token被统一处置惩罚 ，信息密度不匀称的自然语言消耗了同样的盘算量 ，造成了大宗的冗余与模子容量的错配。
另一方面 ，此前基于潜在推理的框架 ，如大型看法模子（Large Concept Model, LCM）等 ，不但需要单独训练编码器息争码器 ，还依赖人为划分的牢靠的、句子级别的粒度 ，缺乏拓展性与自顺应性。
针对这些问题 ，DLCM通过一种分层的下一token展望框架 ，将盘算重心转移到压缩后的语义空间 ，实现了更高效的深度推理。
详细来说 ，这一框架包括四个阶段：
首先 ，在编码阶段 ，DLCM通过一个编码器 ，提取细粒度的Token级体现 ，捕获局部上下文信息 ，作为界线检测和最终Token级解码的基础。
接下来 ，在动态支解阶段 ，模子基于Token级体现 ，盘算相邻Token之间在潜在空间中的局部不相似性（使用余弦距离） ，当不相似度凌驾阈值时 ，模子判断为一个语义断点（看法界线）。
与牢靠句子长度差别 ，DLCM端到端地学习这些界线 ，实现内容自顺应的支解。
它将统一片断内（即统一看法内）的所有Token体现举行均值池化（Mean Pooling） ，然后投影到更高维度的看法维度上 ，最终形成一个长度大大压缩的看法序列 。
然后 ，在看法级推理阶段 ，模子将上面获得的看法序列在压缩空间中举行深度的、高容量的推理 ，获得经由深度推理和信息整合后的看法体现。
最后 ，在Token级解码阶段 ，DLCM使用经由推理的看法体现 ，重构并展望下一个token。
由此 ，DLCM通过以上四个办法 ，乐成地将盘算分派从低效的Token-Token交互 ，转移到高效的Token-看法-Token 交互 ，实现了盘算资源的自顺应、结构化使用。
要害手艺突破与优化
虽然DLCM架构在设计上实现了Token级和看法级？榈囊旃 ，但同时也引入了新的工程和训练挑战。
全局剖析器（Global Parser）：内容自顺应压缩
DLCM 的焦点优势在于它能够凭证信息密度动态地划分看法。
例如 ，关于信息冗余度高的代码或简朴文本 ，可以激进地压缩；关于语义重大的转折点 ，则坚持较低压缩比。
为实现这一点 ，研究引入了全局剖析器（Global Parser）和辅助损失函数。
这个机制的要害在于：它不要求单个序列严酷遵照目的压缩比 ，而是在整个Batch层面约束平均界线天生率。
这使得DLCM在共享全局压缩比例目的的条件下 ，实现了随领域转变、随内容波动的自顺应分段 ，从而将盘算资源精准地分派到语义最要害的区域。
针对Flash Attention的效率优化
在解码阶段 ，Token需要通过因果交织注重力关注其所属的看法。
由于每个看法包括的Token数目是转变的 ，若是直接实现 ，会严重依赖效率低下的动态掩码和不规则的内存会见。
针对这一问题 ，研究引入看法复制（Concept Replication）战略。它将看法特征沿着序列维度复制扩展 ，使其长度与原始Token序列对齐。
由此 ，研究将重大的可变长交织注重力问题转换为长度对齐、局部恒定的注重力问题 ，并使其能够使用高度优化的Flash Attention Varlen内核 ，获得了1.26倍到1.73倍的显著加速。
异构架构的稳固训练
由于DLCM 的Token级组件和看法级主干网络的宽度纷歧致 ，通过上投影毗连 ，无法共享简单有用学习率。
为解决这一问题 ，研究接纳解耦的最大更新参数化 ，为Token？楹涂捶？榉峙闪俗粤Φ目矶人醴乓蜃 ，并发明各组件的有用学习率应与其宽度的倒数成比例缩放。
由此 ，研究乐成地稳固了这种不等宽架构的训练 ，并实现了零样本超参数迁徙 ，即小型署理模子上找到的最佳学习率可以直接用于训练更大的DLCM模子。
量化最优分派点
除上述优化外 ，研究还进一步基于scaling law探讨了token级处置惩罚与看法级推理之间的最优分派。
研究发明 ，在牢靠压缩比下 ，架构效率在中等看法主干占比处抵达峰值 ，而非随看法容量枯燥提升。
更主要的是 ，这一最优设置在规模增大时优势愈发明显：随着基线模子变大 ，在性能对齐的条件下 ，DLCM可实现越来越显著的FLOPs节约。
在实验阶段 ，研究接纳了与LLaMA论文中报告的相同的全局批次巨细、学习率和序列长度 ，让每个模子都在1T Token上举行训练。
其中 ，DLCM实现了43.92%的平均准确率 ，凌驾了基线模子41.23%的分数 ，提升了2.69%。
One more thing
这篇论文的一作来自英国曼彻斯特大学的在读博士生Qu Xingwei ，师从Chenghua Lin教授。
他的研究偏向聚焦于大语言模子（LLMs） ，主要包括预训练、微调、专家混淆（Mixture of Experts）以及System-2大语言模子。
在教育配景方面 ，他本科结业于北京航空航天大学 ，导师为段海滨教授；硕士就读于获慕尼黑工业大学 ，导师为Daniel Cremers教授。
在读博前 ，他曾在字节跳动和小鹏汽车担当研究工程师。
[1]https://x.com/GeZhang86038849
[2]https://arxiv.org/abs/2512.24617
??时势1：馫龘飝鱻灥麤靐飍英语怎么读
??01月13日,因天气原因 美军宣布暂停加沙地带临时码头建设,
一、欠信用卡没还 ，我国《民法典》以及《刑法》都是怎么划定的。
1、第一百九十六条 【信用卡诈骗罪】有下列情形之一 ，举行信用卡诈骗活动 ，数额较大的 ，处五年以下有期徒刑或者拘役 ，并处二万元以上二十万元以下罚金；数额重大或者有其他严重情节的 ，处五年以上十年以下有期徒刑 ，并处五万元以上五十万元以下罚金；数额特殊重大或者有其他特殊严重情节的 ，处十年以上有期徒刑或者无期徒刑 ，并处五万元以上五十万元以下罚金或者没收工业：
（一）使用伪造的信用卡 ，或者使用以虚伪的身份证实骗领的信用卡的；
（二）使用作废的信用卡的；
（三）冒用他人信用卡的；
（四）恶意透支的。
前款所称恶意透支 ，是指持卡人以不法占有为目的 ，凌驾划定限额或者划定限期透支 ，并且经发卡银行催收后仍不送还的行为。
《******、最高人民审查院关于办理波折信用卡治理刑事案件详细应用执法若干问题的诠释》
第六条 持卡人以不法占有为目的 ，凌驾划定限额或者划定限期透支 ，并且经发卡银行两次催收后凌驾3个月仍不送还的 ，应当认定为刑法第一百九十六条划定的“恶意透支”。
信用卡欠款凌驾三个月未还 ，就会被视为恶意透支 ，银行即可以启动司法诉讼程序。我国刑规则定信用卡透支50000元以上 ，欠款长达个3月以上 ，并经银行3次以上催缴拒不送还的 ，司法机关将接纳响应步伐(50000元以下刑事拘留)。
凭证《关于修改〈关于办理波折信用卡治理刑事案件详细应用执法若干问题的诠释〉的决议》》划定 ，恶意透支数额在五万元以上不满五十万元的 ，认定为 “数额较大”;数额在五十万元以上不满五百万元的 ，认定为 “数额重大”;数额在五百万元以上的 ，认定为 “数额特殊重大”。
2、《民法典》第六百七十五条??乞贷人应当凭证约定的限期返还乞贷。对乞贷限期没有约定或者约定不明确 ，依据本法第五百一十条的划定仍不可确定的 ，乞贷人可以随时返还;贷款人可以催告乞贷人在合理限期内返还。
二、欠信用卡还不上的执法效果都有哪些
1、高额利息和滞纳金
《中国人民银行关于信用卡营业有关事项的通知》(下简称《通知》) ，明确了对信用卡透支利率实验上限和下限治理 ，透支利率上限为日利率万分之五 ，透支利率下限为日利率万分之五的0.7倍;以及作废信用卡滞纳金 ，并划定发卡机构向持卡人提供凌驾授信额度用卡效劳的 ，不得收取超限费。发卡机构对向持卡人收取的违约金和年费、取现手续费、钱币兑换费等效劳用度 ，不得计收利息。不过 ，央行仍给银行机构留出了自主权空间。好比 ，就信用透支利率 ，凭证《通知》 ，发卡机构要自主确定信用卡透支的计结息方法 ，以及对信用卡溢缴款是否计付利息及其利率标准。而作废滞纳金后 ，发卡机构还要与持卡人通过协议约定是否收取违约金 ，以及相关收取方法和标准。
2、小我私家信用污点
想必相关于还不上钱 ，小我私家信用纪录更为主要。首先 ，会在人民银行征信中心爆发不良信用纪录 ，严重影响5年内银行的购房、购车、贷款、信用卡爆发重大影响 ，难以审批。其次 ，逾期时间越长 ，银行将其转让给收款公司举行收款 ，情形越严重 ，金额越多 ，执法审讯就越严重。若是最后被执行酿成“老赖”那么除了名下工业被冻结、影响出行外 ，甚至影响你的下一代！
三、若是你真的欠了那么多钱该怎么办？
1、直接致电银行信用卡**** ，申请延期还款 ，一样平常情形下银行都会赞成 ，不过在延期还款时可能会支出一定的用度。
2、银行有专门为用户提供了分期还款或者最低还款额。一样平常凭证自己的月收入选择分期期数。使用最低还款额时一样平常只还本期账单的10% ，虽然降低了还款额度 ，可是本期消耗的所有额度都会从乞贷日最先计息 ，这种还款方法支出的利息较量多 ，用户要审慎使用 ，阻止支出较多的利息。
3、银行的目的也是为了让你还款 ，催收是肯定阻止不了的了 ，若是真的被起诉了 ，记着一定不要容易修改**** ，首先要在银行眼前批注态度 ，自己并不是不还钱 ，而是确实没有能力还钱经济方面出了状态 ，只管和银行协商还款 ，批注自己的处境 ，看能否减免一部分利息。
?怎样提出上诉？怎样撤回上诉？,把裤子脱到脚踝趴好打pg。??01月13日,重庆酉州古城雪景如画,
2、紧抓落实 ，务求实效。
,看黄网站免费观看,亚洲欧洲精品成,av毛片一级无码中文字幕。??时势2：绿帽社丨在线视频入口
??01月13日,2024全国青年男子冰球锦标赛（U18）在威海开赛,
。1）升国旗自觉肃立
,午夜一级视频网站,日韩免费网页版视频,国产精品久久久厕所偷窥盗摄。??01月13日,中央气象台：未来一周冷空气活跃 气温多波动,
今天 ，我们在这里召开结业班全体学生头脑发动大会 ，目的就是给我们结业班的同砚鼓劲 ，使同砚们在20xx年的小学结业考中取得优异的效果。更希望同砚们在六年级这一年中 ，在先生的指导资助下 ，找准偏向 ，增强信心 ，受苦钻研 ，自动学习 ，以优异的效果为结业班学习生涯画上一个圆满的句号 ，给学校、先生、家长一张知足的答卷。今年这届结业班 ，我们满怀信心争取好效果。从先生来看 ，我们有一支素质优异的结业班西席步队 ，他们履历富厚 ，教学有方；他们勇于贡献 ，能和同砚们同甘共苦；他们同心同德、力争上游。从同砚来看 ，同砚们的整体素质比上一届好；学生育成教育基本形成 ，团结相助 ，遵纪遵法 ，严酷要求自己；学习受苦起劲 ，高昂向上 ，自动学习 ，基础打得较量扎实。特殊是同砚们自从进入结业班 ，似乎一下子长大了。和已往相比 ，更有礼貌了 ，更遵规守纪了 ，更爱学习了？吹秸庖磺 ，作为校长 ，我打心眼里兴奋。从学校来说 ，尽一切起劲为结业班学生提供优异的学习情形和生涯条件。
,免费无码AⅤ在线观看,我用 蹭男同桌的,男人舔女人下面的黄色视频。??时势3：18馃槏
??01月13日,（新春走基层）广西玉林“钢轨B超医生”寒夜探伤护春运平安,
“轰”的一声 ，村外灰尘冲天 ，青鳞鹰松开了巨爪 ，一头庞然大物坠落在地上 ，砸出一个大坑 ，土石飞溅 ，烟尘冲起。
,欧美日韩国产第一页,黄色做爱视频好爽再用力一点,电影毛片。??01月13日,巴西南里奥格兰德州暴雨已致55人遇难,
“你的伤……”老人喘粗气 ，有些迫切的问道 ，但也只能说出这几个字 ，再也说不出别的了。
,被闺蜜男友c了一晚上以后的视频,最新a片在线视频,99在线视频精品播放。??时势4：人人操人人要
??01月13日,“难以想象的悲剧”！美国5岁男孩意外开枪打死自己,
“快 ，赶忙包扎！”石飞蛟大喝道。
,国漫美女裸体 网站,Пикап HD中国,wwwwxxxx性爱。??01月13日,北京推动数字经济特色化发展 构建“一区一品”新格局,
不然 ，谁没事吃狻猊啊 ，这种生物 ，血液稍纯一些的就凶气滔天 ，就更不要说是远古遗种了 ，让一个富家都压力重大 ，忌惮不已。
,在线亚洲精品国产二区,巨乳黄片视频,DeepSeek成人版在线观看。【CBA：浙江大胜“领头羊”新疆 盖利成“替补奇兵”】
责编：桑海波
审核：甘平
责编：万凌
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
