猫眼影戏
 |
|
猫眼影戏
劳来寿
手机审查
猫眼影戏记者 赵龙点 报道Q8X2R7L1T4J5M9B6W3
随着大模子步入规；τ蒙钏 ，日益高昂的推理本钱与延迟已成为掣肘工业落地的焦点瓶颈。在 “降本增效” 的行业共识下 ，从量化、剪枝到模子蒸馏 ，种种压缩手艺竞相涌现 ，但往往难以兼顾性能消耗与通用性。
在此配景下 ，投契采样作为一种 “另辟蹊径” 的推理加速范式 ，正依附其近乎无损的加速效果成为业界新宠。腾讯混元克日升级的AngelSlim 训练框架 ，首次将这一手艺的潜力拓展至 LLM、VLM 及语音的全模态场景 ，实现了从 “可加速” 到 “善加速” 的要害跃迁。其焦点在于独创的Eagle3 训练架构 ，通过让小模子学会 “前瞻性” 地为大模子起草多步候选 token ，再由大模子并行验证 ，一举将大模子解码阶段的算力冗余转化为提速动能 ，实测最高可带来1.9 倍的推理速率飙升。这不但是一次手艺升级 ，更是对下一代高效推理基础设施的主要界说 ，为多模态 AI 应用的实时化、普惠化铺平了蹊径。
一、AngelSlim + 投契采样
投契采样是一种通过小模子多步展望 + 大模子一步验证的推理加速手艺 ，其焦点头脑是：使用一个轻量级的底稿模子天生多个候选 token ，由目的模子对候选效果举行并行验证是否接受 ，以此来并行解码加速 ，在有用使用大模子解码阶段的算力冗余 ，提升推理吞吐并降低单请求延迟。
AngelSlim 是一款集成了包括量化、投契采样等压缩算法 ，面向全模态的大模子压缩算法工具包。此次对投契采样训练举行了重磅升级 ，支持了大语言、多模态明确、语音等差别模态大模子投契采样底稿模子训练能力。
AngelSlim 以 “Eagle3 训练即安排” 为设计焦点 ，提供从数据处置惩罚、模子封装到投契采样算法训练的完整链路 ，资助开发在不侵入现有模子结构的条件下 ，显著降低推理时延与盘算本钱 ，各模态、种种大模子加速可达 1.4-1.9 倍。
Github 开源地点：https://github.com/Tencent/AngelSlim
二、焦点亮点
1. 笼罩从文生文、多模态明确到语音的全模态投契采样训练
AngelSlim 是一个从设计之初就支持全模态的投契采样训练框架 ，通过统一的训练接口 ，差别模态之间共享焦点算法与工程能力 ，阻止重复造轮子。
2. 面向安排
AngelSlim 并不止步于 “能训” ，而是强调训出来就能用。AngelSlim 训练产出的模子可以无缝用于 vLLM/Sglang 等框架举行安排。
三、焦点训练组件剖析
1. 数据处置惩罚？
数据处置惩罚？槲镀醪裳盗范喔瞿Ｌ峁┪裙獭⒖筛从玫氖莼 ，主要包括：
a. 数据重采样：针对漫衍外数据集重新采样 ，生身漫衍内数据集用以训练。
b. 数据预处置惩罚：
i. 统一差别模态的数据名堂 ，将文本、图像、音频等输入标准化处置惩罚成 token ids 和 loss mask。
ii. 底稿模子裁剪词表的映射。
c. 隐藏特征提。浩局ごχ贸头：玫 token ids 获取对应的隐藏特征。
2. 模子？
模子？槭 AngelSlim 实现高度扩展性的要害。
a. 统一的 TargetModel 接口
i.AngelSlim 提供统一的 TargetModel 接口 ，包括模子加载与权重治理、前向盘算、中心层 / 隐状态特征提取等笼统要领；
b. 低本钱扩展新的模子后端
ii. 关于新的模子架构或后端 ，用户只需实现 TargetModel 中界说的笼统要领即可完成模子注册并接入训练流程 ，无需修改训练器或焦点算法代码。这一设计极大降低了对新模子、新模态的适配本钱。
3. 训练器？
a. 训练器针对 Eagle3 算法特点设计了两种训练模式：在线训练和离线训练。在线与离线训练的区别在于是否预先天生并存好全量数据的 hidden states。在线训练适合小尺寸模子或显存足够的场景 ，离线训练适合大尺寸模子、低显存高磁盘空间机械。
b. 训练器实现封装了 Eagle3 等投契采样算法训练的要害逻辑：
i. 训练时测试（training-time-test）：训练时模拟 Eagle3 模子多步天生历程 ，让 Eagle3 模子看到并学习使用自己的展望。
c. 训练器原生支持断点续训能力 ，完整生涯并恢复：
i. 底稿模子参数
ii.Optimizer/ LR Scheduler 状态以及训练进度
四、实践与安排
1. 快速最先
当装置好 AngelSlim 后 ，进入 AngelSlim 根目录凭证如下下令可以快速最先 Eagle3 的训练：
# 启动vLLM 效劳
bash scripts/speculative/run_vllm_server.sh
# 天生训练数据
bash scripts/speculative/generate_data_for_target_model.sh
# 最先在线训练
bash scripts/speculative/train_eagle3_online.sh
其中前两条下令是准备数据 ，对训练数据举行重采样 ，天生目的模子漫衍内的数据。这一步是可选项 ，若是训练数据已经是来自目的模子的 SFT 数据或自身天生的数据 ，这一步可跳过。对 Eagle3 模子举行训练直接执行最后一条下令即可 ，更多进阶的使用指南可以拜见我们的文档。
我们提供了周全的多模态模子 Eagle3 训练与安排指南 ，支持 LLM / VLM / Audio (ASR & TTS) 模子。
详见：https://angelslim.readthedocs.io/zh-cn/latest/features/speculative_decoding/eagle/eagle.html
2.AngelSlim 训练模子的加速体现
我们使用 vLLM 在代码、数学、指令追随、文本天生、多模态明确等使命上评测了 AngelSlim 所训练的 Eagle3 模子 ，设置 num_speculative_tokens=2 or 4 下我们所训的模子吸收长度可达 1.8-3.5 ，最高加速可达 1.4-1.9 倍。
3. 代码和模子链接
AngelSlim 代码 Github 开源客栈：https://github.com/Tencent/AngelSlimHugging-Face Eagle3 模子与权重：https://huggingface.co/collections/AngelSlim/eagle3
五、未来妄想
在未来妄想中 ，我们将从工具与算法两个层面一连推进投契采样能力演进：工具方面 ，妄想支持基于 vLLM 的离线 hidden states 天生 ，以进一步降低数据构建与训练本钱 ，并通过系统性的训练加速优化提升整体训练效率；算法立异方面 ，将探索多模态明确与语音输入信息在 Eagle3 模子中的深度融合 ，统一建模文本、视觉与语音特征 ，拓展投契采样在全模态场景下的适用性与加速潜力。
??时势1：碰碰女人公开免费视频
??01月24日,公安部：依法查处利用网络传授制枪制爆犯罪方法等违法犯罪,
这娃怎么这么憨？锤叔、精璧大爷等眼珠子差点瞪出来 ，这也太好骗了！
,一级黄在线观看。??01月24日,2023年公安部投入帮扶资金5834万元 采购和销售农副产品价值2.5亿元,
最终 ，他攀到了石山上 ，站在那里 ，通体都发宝光 ，这近一年的修行让他的肉身爆发了恐怖的蜕变。早在一个月前他就能做到这一步了 ，迩来不过是在牢靠罢了。
,黄片大全三级片在线播放超清无码,国产超碰,欧美大吊爆草。??时势2：tube成熟少妇69
??01月24日,【台青在大陆】何冠奕：“寸锦寸金”为云锦,
山林苍翠 ，他们站在一块高地上向前远望 ，氤氲蒸腾 ，彩雾流动 ，百草园祥和而清静 ，宛若一片净土。
,白丝校🌸脱白丝让我c图片,全程露脸偷拍新婚之夜,亚洲无码在线观看黄片。??01月24日,游戏产业成毕业生就业“香饽饽”,
打造四大基地：就是在广州总部之外 ，起劲把湛江、湖南、广西、河北四大在建或投产的项目建设成为集团的大型生产基地和利润基地。
,激情偷乱人伦视频在线观看免费,在线观看免费色污视频,亚洲性爱一级视频。??时势3：a4yy午夜理论片无码
??01月24日,以色列国防军：袭击黎真主党数千个火箭弹发射器,
裁判要旨
《******关于行政诉讼证据若干问题的划定》第六条划定：“原告可以提供证实被诉详细行政行为违法的证据。原告提供的证据不建设的 ，难免去被告对被诉详细行政行为正当性的举证责任。”因此 ，若原告在行政诉讼中新提交的证据属于确有正当理由且这些证据确实足以对行政行为的正当性造成实质性影响时 ，则证据可以获得采信并作为人民法院作出裁判的依据。其次 ，行政诉讼坚持正当性审查的原则 ，同时为阻止铺张行政及司法资源 ，《******关于行政诉讼证据若干问题的划定》第五十九条划定：“被告在行政程序中遵照法定程序要求原告提供证据 ，原告依法应当提供而拒不提供 ，在诉讼程序中提供的证据 ，人民法院一样平常不予接纳。”在行政机关作出行政行为的历程中 ，若是原告保存居心不提交有关证据或者懈怠搜集证据的情形 ，则人民法院关于原告在行政诉讼中新提交的证据不应予以采信。最后 ，关于《******关于行政诉讼证据若干问题的划定》第六十条划定的“不可作为认定被诉详细行政行为正当依据”的证据 ，人民法院不可予以采信。原告或者第三人在诉讼历程中提供的、被告在行政程序中未作为详细行政行为依据的证据属于不可作为认定被诉详细行政行为正当依据的证据情形之一。
裁判文书
中华人民共和国******
行 政 裁 定 书
（2019）最高法行申4324号
再审申请人（一审原告、二审上诉人）：肖淑春 ，女 ，1945年3月16日出生 ，汉族。
委托诉讼署理人：肖金山（系肖淑春之子） ，男 ，1968年11月15日出生 ，汉族。
委托诉讼署理人：刘飘 ，辽宁襄平状师事务所状师。
被申请人（一审被告、二审被上诉人）：辽宁省辽阳市人民政府。住所地：辽宁省辽阳市文圣区新城路9号。
法定代表人：王一兵 ，该市人民政府市长。
第三人：辽宁省辽阳市公安局雄伟区公循分局。住所地：辽宁省辽阳市雄伟区向阳街十四号。
法定代表人：龚立军 ，该公循分局局长。
第三人：王虹 ，女 ，1972年4月8日出生 ，汉族。
再审申请人肖淑春因诉辽宁省辽阳市人民政府（以下简称辽阳市政府）行政复议决议一案 ，不平辽宁省高级人民法院（以下简称二审法院）（2018）辽行终631号行政讯断 ，向本院申请再审。本院受理后 ，依法由审讯员梁凤云、审讯员张艳、审讯员仲伟珩组成合议庭 ，对本案举行了审查 ，现已审查终结。
肖淑春不平辽阳市政府作出的辽市行复决字〔2017〕5号行政复议决议（以下简称5号复议决议） ，向辽宁省辽阳市中级人民法院（以下简称一审法院）提起诉讼 ，请求作废5号复议决议。
一审法院以为：《中华人民共和国行政复议法》第三条第三项划定 ，遵照本法推行行政复议职责的行政机关是行政复议机关。行政复议机关认真法制事情的机构详细办理行政复议事项 ，推行审查申请行政复议的详细行政行为是否正当与适当 ，制订行政复议决议。凭证此项划定 ，行政复议机关对行政行为的审查应当是周全审查 ，不受申请人申请事实及理由的限制。本案中 ，辽阳市政府在复议审查历程中 ，以为雄伟分局仅依据与肖淑春有利害关系的两位证人及肖淑春自己的询问笔萍 ，在没有其他证据佐证的情形下 ，作来由罚决议 ，证据不充分 ，并无不当。关于肖淑春提出辽阳市政府作出的5号复议决议与其之前针对庞春勇的处分决议作出的辽市行复决字〔2016〕130号《行政复议决议》（以下简称130号复议决议）相矛盾的问题 ，因130号复议决议审查的是庞春勇的处分决议是否正当的问题 ，130号复议决议经审理查明部分准确与否并不可作为否定5号复议决议正当性问题的依据。一审法院于2017年12月4日作出（2017）辽10行初13号行政讯断：驳回肖淑春的诉讼请求。
肖淑春不平 ，提起上诉 ，请求作废一审讯断。二审法院查明的事实与一审法院认定的事实一致。
二审法院以为：本案的争议焦点是王虹是否殴打肖淑春 ，并造成其受伤。本案中 ，雄伟分局对王虹作出行政处分的主要事实依据是事发时在场的肖淑春自己以及其女儿肖春艳和女婿庞春勇的陈述。复议机关以为仅依据与肖淑春及与其有利害关系的两位证人的陈述 ，在没有其他证据佐证 ，且三人陈述亦纷歧致的情形下 ，认定处分决议证据不充分 ，并无不当。关于肖淑春提出的其在诉讼阶段提交了事发当天的急诊病志和DR诊断报告单 ，证实其当天受伤事实的上诉主张。肖淑春在事发当天未向作出原行政处分决议的公安机关提交 ，在行政复议阶段也未向复议机关提交 ，故复议机关在其时的证据条件下作出的复议决议并无不当。其次 ，肖淑春所提交的急诊病志虽诊断为左肩外伤 ，但体检所见内容为“左肩外侧触痛 ，左肩枢纽外展活动受限”等系其自述内容 ，且DR诊断报告单诊断意见为：左肩骨质未见确切骨折线。该两份证据难以认定王虹对肖淑春举行殴打 ，并造成其受伤。故对肖淑春的该项上诉主张 ，不予支持。关于肖淑春提出雄伟分局对王虹作来由罚决议后 ，王虹并没有提出行政复媾和行政诉讼 ，证实其对殴打肖淑春的事实没有异议的上诉主张。王虹对行政处分是否提出行政复媾和行政诉讼 ，并不可成为证实其殴打肖淑春的证据 ，且王虹在诉讼阶段也提出其并未殴打肖淑春 ，故对肖淑春的该项上诉主张 ，不予支持。关于肖淑春提出的一审中的证人证言并非孤证的上诉主张。报警纪录、被害人陈述、急诊病志和DR诊断报告单的内容均系肖淑春自述 ，并不可证实肖淑春被王虹殴打受伤的事实 ，故一审认定肖淑春之女肖春艳的证人证言不可作为认定行政复议决议是否正当的依据并无不当。关于肖淑春提出的辽阳市政府作出的130号复议决议系已经依法证实的事实 ，可以作为认定王虹殴打其证据的上诉主张。王虹是否殴打肖淑春不是130号复议决议审查的主要事实 ，该复议决议中表述的内容不可直接作为认定王虹殴打肖淑春的直接证据 ，故对肖淑春的该项上诉主张 ，不予支持。据此 ，二审法院于2018年12月25日作出（2018）辽行终631号讯断：驳回上诉 ，维持一审讯断。
肖淑春仍不平 ，向本院申请再审 ，请求：作废二审讯断 ，判令辽阳市政府重新作出复议决议。主要的事实与理由为：一、二审认定事实不清。证人证言、报警纪录、急诊病志、DR诊断报告单、当事人陈述以及警员出警等证据 ，王虹未提出行政复媾和行政诉讼等 ，能够证实王虹殴打自己的事实 ，且该事实经辽阳市政府作出的130号复议决议予以认定。
本院以为：本案的争议焦点为 ，肖淑春在诉讼中提交的证据应否采信及5号复议决议是否违反榨取倒运变换原则等问题。
关于肖淑春在诉讼阶段提交的事发当天的急诊病志、DR诊断报告单等应否采信问题。首先 ，《******关于行政诉讼证据若干问题的划定》第六条划定：“原告可以提供证实被诉详细行政行为违法的证据。原告提供的证据不建设的 ，难免去被告对被诉详细行政行为正当性的举证责任。”因此 ，若原告在行政诉讼中新提交的证据属于确有正当理由且这些证据确实足以对行政行为的正当性造成实质性影响时 ，则证据可以获得采信并作为人民法院作出裁判的依据。其次 ，行政诉讼坚持正当性审查的原则 ，同时为阻止铺张行政及司法资源 ，《******关于行政诉讼证据若干问题的划定》第五十九条划定：“被告在行政程序中遵照法定程序要求原告提供证据 ，原告依法应当提供而拒不提供 ，在诉讼程序中提供的证据 ，人民法院一样平常不予接纳。”在行政机关作出行政行为的历程中 ，若是原告保存居心不提交有关证据或者懈怠搜集证据的情形 ，则人民法院关于原告在行政诉讼中新提交的证据不应予以采信。最后 ，关于《******关于行政诉讼证据若干问题的划定》第六十条划定的“不可作为认定被诉详细行政行为正当依据”的证据 ，人民法院不可予以采信。原告或者第三人在诉讼历程中提供的、被告在行政程序中未作为详细行政行为依据的证据属于不可作为认定被诉详细行政行为正当依据的证据情形之一。本案中 ，就王虹是否殴打肖淑春这一事实而言 ，肖淑春认可雄伟分局作出的处分决议中的认定 ，即主张王虹殴打了肖淑春 ，肖淑春在诉讼中提交新的证据也是为了证实此事实。鉴于雄伟分局在行政程序中并未将肖淑春提交的事发当天的急诊病志、DR诊断报告单等作为处分决议的依据 ，肖淑春在行政复议阶段也未向复议机关提交 ，因此以上证据不可作为认定雄伟分局作出的处分决议认定事实清晰的依据。
关于5号复议决议认定雄伟分局作出的处分决议保存事实不清、证据缺乏是否准确的问题。雄伟分局作出的处分决议载明其作出的依据是对王虹、庞春勇的询问笔萍及证人证言等证据。关于处分决议的作出依据是否充分问题 ，首先 ，一审法院审查后已认定作为处分依据的证人证言系与肖淑春有利害关系的两位证人出具。其次 ，5号复议决议载明雄伟分局在复议程序中自述：庞春勇、肖春艳和肖淑春三人对现场情形的陈述纷歧致；出警当日 ，民警在询问详细情形的历程中 ，并未有人提出肖淑春被打一事。最后 ，王虹在复议程序中自述：其其时怀有身孕 ，未殴打肖淑春；其被打后实时打110报警并入院治疗。综合以上事实 ，辽阳市政府以为 ，在王虹不认可殴打肖淑春的情形下 ，雄伟分局仅依据其在处分决议中载明的依据作出王虹用高跟鞋和石头扔肖淑春和肖春艳的认定 ，并据此作出给予王虹拘留八日并？钊僭拇Ψ志鲆樗谰莸氖率挡磺濉⒅ぞ萑狈 ，并无显着不当。别的 ，肖淑春提出的辽阳市政府作出的130号复议决议可以证实王虹保存殴打行为等问题 ，一、二审法院论理并无显着不当 ，本院予以认可。
关于辽阳市政府在王虹未申请行政复议的情形下能否作废处分决议问题。《中华人民共和国行政复议法实验条例》第五十一条划定：“行政复议机关在申请人的行政复议请求规模内 ，不得作出对申请人更为倒运的行政复议决议。”该条划定了行政复议榨取倒运变换原则。由于复议申请人申请行政复议 ，是为了作废对己倒运的行政行为。若是行政复议机关在审查行政行为是否正当或适当的历程中 ，作出对复议申请人较原裁决更为倒运的决议 ，那么就会违反复议申请人提起行政救援的本意。行政复议榨取倒运变换原则体现了“申辩不加重”的本意 ，即要求行政复议机关不得因当事人申辩而加重处分。可是行政复议榨取倒运变换原则的适用也保存破例情形。在行政处分案件中 ，扫除榨取倒运变换原则适用包括但不限于以下情形：一是被损害人及被处分人同为复议申请人。此类情形中被损害人、被处分人会昭示请求作废处分决议；二是被损害人或被处分人申请了行政复议 ，另一方作为第三人在复议程序中保存有意识的默示申请作废处分决议的行为。本案中 ，肖淑春因不平雄伟分局对王虹所作的处分决议而申请复议 ，被处分人王虹系复议程序中的第三人。王虹虽然并非复议申请人 ，但其在复议程序中明确主张未殴打肖淑春、肖淑春保存作伪证等情形 ，因此可以认定王虹并不认可雄伟分局作出的处分决议 ，且已提出申辩 ，切合默示申请作废处分决议的要件。在此情形下 ，辽阳市政府经审理后 ，决议作废处分决议 ，并未违反榨取倒运变换原则。
综上 ，肖淑春的再审申请不切合《中华人民共和国行政诉讼法》第九十一条划定的情形。本院遵照《******关于适用〈中华人民共和国行政诉讼法〉的诠释》第一百一十六条第二款之划定 ，裁定如下：
驳回再审申请人肖淑春的再审申请。
审讯长 梁凤云
审讯员 张 艳
审讯员 仲伟珩
二〇一九年十仲春二十四日
法官助理刘均博
书记员宫傲
,成黄色网站免费在线免费观看,小18萝裸乳 无码无遮,国产欧美久久二区。??01月24日,山西阳泉：以“数智新城”构筑转型发展新优势, “支教研学动辄上万元 ，现在公益也能论斤卖了”……大凉山商业化支教研学正在引发争议 ，多名业内人士都体现 ，“涉及商业的大凉山支教研学 ，是该‘降降温’了。”,欧美老妇毛水多性強,毛毛片一区,摸人人操人人人。
??时势4：蜜桃av秘 无码一区三区。
??01月24日,贵州省政协十三届二次会议开幕,
“呀 ，你……”谁人神色惨白的孩子吓了一跳。
,性爱一区在线,熟女A片,欧美一级二级网站。??01月24日,切莫迷信“网红处方”，儿童用药安全第一,
“是我 ，祖爷爷 ，我看你来了。”小不点捉住他的手 ，语声哽咽 ，另外几个老人都走了 ，他都没有来得及送上一场。
,性生活一级免费不卡,少妇喷潮 明星,乖乖挨c（h）小说。责编：汪建设
审核：刘莉莉
责编：古驰
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
