91天堂网

电脑版下载

96099
4

91天堂网截图Q8X2R7L1T4J5M9B6W3

内容详情

91天堂网

作者｜周一笑邮箱｜ zhouyixiao@pingwest.com

1月4日，DeepSeek在arXiv上更新了R1论文。

没有官宣，没有推文，只是版本号从v1酿成了v2。但翻开PDF的人都会发明一个转变，页数从22页膨胀到了86页，文件巨细从928KB涨到1562KB。

新增内容包括完整的训练管线拆解、20多个评测基准的详细数据、以及长达数十页的手艺附录，近乎重写的大手术。

时间点也有些玄妙。1月20日是R1宣布一周年，再往后推一个月，2月17日是夏历春节，而DeepSeek有在春节前放大招的古板，去年的V3和R1都是在春节窗口期宣布的。

一篇“旧”论文的大更新，会是新行动的前奏吗？要回覆这个问题，我们先来看看这86页里究竟写了什么。

一篇论文的“三生三世”

要明确这次更新的意义，需要先回首R1论文的完整旅程。

2025年1月20日，22页预印本宣布。DeepSeek在arXiv宣布R1论文，焦点结论是：纯强化学习可以让大模子自己“学会”推理，不需要人类标注的头脑链数据。论文开源、模子开源、要领开源，直接引爆全球AI社区。

2025年9月17日，R1论文登上Nature封面，梁文锋署名通讯作者。这是全球首个通过顶级学术期刊偕行评审的主流大模子，8位专家审稿，逐条质疑，逐条回应。审稿人关注的问题包括，R1是否使用了OpenAI模子的输出来训练（即“蒸馏”质疑）、训练数据的详细泉源、以及清静性细节。DeepSeek在回应中明确否定了蒸馏指控，并首次果真了训练本钱，从V3-Base训练到R1，只花了29.4万美元。

Nature为此专门撰写社论，指出主流大模子公司宣布模子时通常不经由自力评审，“这一空缺随着Nature揭晓DeepSeek-R1的细节而改变”。

2026年1月4日，86页完整版上线。最新版本把Nature版的手艺细节同步回arXiv。Dev1、Dev2、Dev3训练阶段的完整拆解、扩展后的评测数据、以及附录A-F的手艺文档，现在免费向所有人开放。

期刊揭晓后同步更新预印本，在学术界是通例操作。但从22页扩到86页、内容量翻近四倍，这种幅度的更新相当有数。某种水平上，DeepSeek把一篇论文做成了一份手艺全书，它想让所有人都能复现R1，而不但是读懂R1。

新增了什么？拆解64页“增量”

训练“黑箱”翻开：Dev1、Dev2、Dev3首次曝光

原版论文对训练历程的形貌相当榨取：冷启动SFT → 强化学习 → 最终SFT，三步走完，细节从略。新版则把这个管线彻底拆开，引入了三其中心检查点：Dev1、Dev2、Dev3。

R1完整训练管线

Dev1是冷启动阶段的产品。模子在这个阶段学会了听话（指令遵照能力大幅提升），但价钱是推理能力反而下滑。论文披露的数据显示，Dev1在AIME数学竞赛上的体现比基座模子还要差。

Dev2专门用来“抢救”推理能力。这个阶段只做reasoning-oriented RL，把数学和代码能力拉回来，同时坚持住指令遵照的水平。

Dev3是最终打磨。通过拒绝采样天生高质量数据，再做一轮SFT，让模子在推理使命和通用使命上都能稳固输出。

这套先教规则、再练内功、最后调形态的三段式流程，诠释了一个许多人体贴的问题，为什么R1既能做长链推理，又不会像R1-Zero那样输出杂乱、中英混杂。

从5个benchmark到20+：评估系统周全扩展

原版论文的评测集中在几个焦点指标，AIME数学竞赛、Codeforces编程、MATH数据集。新版大幅扩展了评测规模，涵盖MMLU、MMLU-Pro、DROP、GPQA Diamond、IFEval、Arena-Hard、SWE-bench Verified、LiveCodeBench等20多个基准。

R1-Zero训练曲线：准确率从15.6%涨到77.9%，凌驾人类水平（绿色虚线）

更值得关注的是人类baseline的引入。新版论文直接把R1的AIME效果和人类参赛者的平均分放在一起较量。R1-Zero在训练历程中，pass@1从15.6%一起涨到71.0%，使用大都投票后抵达86.7%，凌驾了人类平均水平。

这种和人比的评测方法，比纯粹刷榜更能说明问题。

RL炼丹手册：附录A-F中的“秘笈”

关于想复现R1的研究者来说，新增的附录可能是最有价值的部分。

附录A详解了GRPO（Group Relative Policy Optimization）的实现细节，包括学习率、KL系数、采样温度等要害超参数。附录B-F则笼罩了奖励函数设计、数据结构战略、评测细节等。原版论文的"要领论"色彩浓重，新版则更像一本操作手册，参数写死、流程写清、坑也标出来。

正如一篇手艺解读所说，与原版聚焦高层要领论和效果差别，新版的附录为任何想相识模子事情原理的人提供了完整透明的指南。

被写进论文的失败实验

新版论文尚有一个容易被忽略的章节：Unsuccessful Attempts（失败的实验）。

DeepSeek坦承，他们试过MCTS（蒙特卡洛树搜索）和PRM（历程奖励模子）m这两条蹊径是已往一年业界最热门的研究偏向，不少顶级实验室都在重注押宝。效果是：走欠亨，至少在通用推理使命上走欠亨。

论文的诠释是，这类要领对“办法颗粒度”要求太高，适合数学证实这种每一步都能清晰验证的场景，但很难泛化到更开放的推理使命。这和开发者社区的讨论不约而同，PRM和MCTS可能会限制强化学习的探索空间，只适合那些界线清晰的问题。

把失败写进论文，在学术界并不有数，但在工业界主导的大模子研究中相当少见。某种水平上，DeepSeek帮整个行业做了一次祛魅，巨头们死磕的偏向，未必是对的偏向。