因此，Raz选择从非常简单的RL算法——Reinforce-Lite入手。

采(cai)用轻量级强化学习算法——Reinforce-Lite生成的推理过程之一。我们将一步步看(kan)到，端到端的强化学习微调模型(xing)如何表(biao)现出智能、回溯、自我反思、逻辑推理等迹(ji)象(xiang)

结果，令人出乎意料的事情发生了(le)：只用不到10美元的成本，他(ta)就在一个(ge)3B模型(xing)上复刻了(le)DeepSeek的顿悟时(shi)刻。

几乎就像是(shi)这个(ge)3B模型(xing)本身就具备了(le)做出惊人事情的潜力，我们需要的，只是(shi)通(tong)过正确的方式赋予它一定的自主性而已。

接下来，让我们看(kan)一下Raz的博客，感受一下这次超(chao)经济(ji)实惠的AI推理，是(shi)怎样突破的。

复刻DeepSeek顿悟时(shi)刻，只用不到10美元

我们能否(fou)在计算资源(yuan)有限（只有48GB RTX6000显卡(ka)和10美元）的情况下，让一个(ge)3B模型(xing)具备回溯、自我反思、逻辑推理等推理能力？

研究人员猜测，通(tong)过强化学习也许能做到。

强化学习是(shi)最(zui)强大的学习算法之一，它一次又(you)一次地为我们带来令人惊叹的成果。

DeepMind的AlphaGo、OpenAI的DOTA 2、MuJoCo和Atari实验、LLM的RLHF对齐，以及(ji)最(zui)近DeepSeek全面布局的RL技术，无比证明它的强大威(wei)力。

然而，由于RL有许多(duo)动态部分，一涉及(ji)到众(zhong)多(duo)组件，强化学习就变(bian)得复杂了(le)。

在此过程中(zhong)，强化学习需要精心设(she)计重(zhong)要元素，如合适的信用分配机制、演员-评(ping)论员的适当超(chao)参数(shu)调整、强化学习算法类型(xing)（基于模型(xing)/无模型(xing)）等，这就导致了(le)强化学习在更广泛的范围内应用受限。

如果在LLM环境中(zhong)使用强化学习，可能涉及(ji)的模型(xing)可以多(duo)达5个(ge)：

1. 策(ce)略模型(xing)：正在训练的模型(xing)
2. 旧策(ce)略模型(xing)：用于计算替(ti)代目标
3. 参考模型(xing)：用于计算KL散度(du)（KL-divergence）
4. 奖励(li)模型(xing)：用于学习奖励(li)函数(shu)
5. 评(ping)判模型(xing)：用于计算价值函数(shu)

Reinforce-Lite：一个(ge)比PPO更简单、更稳定且更高效的微调方案(an)

3B模型(xing)端到端强化学习训练的计算需求(qiu)

由于涉及(ji)众(zhong)多(duo)组件，不仅带来了(le)计算负担，还带来了(le)训练稳定性方面的复杂性和挑战(zhan)。

因此，研究人员开始思考：能否(fou)从零开始重(zhong)新构想整个(ge)算法，回归第一性原理？

他(ta)们的答案(an)就是(shi)——一个(ge)简单的替(ti)代方案(an)，Reinforce-Lite。

这种方法消除了(le)对替(ti)代目标比率和旧策(ce)略模型(xing)的需求(qiu)，通(tong)过单一策(ce)略神经网络来稳定训练过程，同时(shi)，还能为模型(xing)注入推理能力。

为此，我们需要理解的第一个(ge)问题就是(shi)——

使用替(ti)代目标比率（如PPO/GRPO）是(shi)过度(du)优化？

OpenAI vs DOTA 5v5：基于大规模强化学习训练

在MuJoCo、Atari、Dota等传统强化学习环境中(zhong)，PPO对每个(ge)批次进行多(duo)次更新是(shi)至关重(zhong)要的，这是(shi)因为在这些环境中(zhong)数(shu)据收集成本非常高昂，而重(zhong)复使用样本可以提高样本效率。

然而在LLM中(zhong)，这种方法既无必(bi)要，又(you)会(hui)带来巨大的计算开销。

LLM可以并(bing)行生成多(duo)样化的响应，自然形成丰富的数(shu)据集，因此就无需重(zhong)复更新。

所有响应都可以使用相同的策(ce)略网络生成，一旦在序列生成结束时(shi)获得奖励(li)，就可以进行梯度(du)反向传播。

此外，在文本生成这样的高维(wei)动作空间(jian)中(zhong)，每个(ge)batch多(duo)次更新可能导致过拟(ni)合，而非有意义的策(ce)略改进。

相反，如果每个(ge)batch单次更新，再结合分组归一化等技术，就可以在显著降低计算成本的同时(shi)，保(bao)持训练稳定性。

考虑到LLM训练本身就需要大量资源(yuan)，在不影响性能的前提下简化优化过程，显然是(shi)更有效的选择。

从技术角度(du)来看(kan)，这也消除了(le)为计算替(ti)代目标比率而保(bao)留(liu)旧策(ce)略模型(xing)的需求(qiu)。

LLM强化学习与经典强化学习的区别(bie)

总之，在这个(ge)算法中(zhong)——

1. 移除KL散度(du)，不需要参考模型(xing) ❌ ——改用梯度(du)裁剪。虽然不是(shi)自适应的方法，但能有效完成任务。

2. 移除替(ti)代目标，不需要旧策(ce)略模型(xing) ❌

3. 使用分组相对奖励(li)进行优势计算（类似DeepSeek的GRPO方式），不需要价值网络 ❌

移除KL散度(du)，不需要参考模型(xing) ❌ ——改用梯度(du)裁剪。虽然不是(shi)自适应的方法，但能有效完成任务。

移除替(ti)代目标，不需要旧策(ce)略模型(xing) ❌

使用分组相对奖励(li)进行优势计算（类似DeepSeek的GRPO方式），不需要价值网络 ❌

这样，我们就得到了(le)一个(ge)轻量级的强化学习算法。

通(tong)过以上简化，优化问题最(zui)终就回归为经典的Reinforce算法——

Reinforce-Lite

在优势计算方面，研究人员采(cai)用分组相对策(ce)略优化（GRPO）的归一化技术，将每个(ge)问题的10个(ge)回应结果作为一组，并(bing)通(tong)过其归一化方法来降低梯度(du)更新中(zhong)的方差(cha)。

让我们来看(kan)看(kan)它在PyTorch中(zhong)的具体实现。

1. 初(chu)始化一个(ge)经过指令微调的LLM，并(bing)通(tong)过合适的提示词使其在 标签中(zhong)包含推理步骤。

2. 为模型(xing)输出定义一个(ge)奖励(li)函数(shu)（例如，在GSM8K基准中(zhong)的正确率）。通(tong)过正则表(biao)达式从标签中(zhong)提取数(shu)值，并(bing)与数(shu)据集中(zhong)的实际答案(an)进行比较。

3. 通(tong)过直接计算相对于奖励(li)的梯度(du)来优化策(ce)略，无需使用替(ti)代损失函数(shu)。

4. 采(cai)用分组相对归一化优势计算值，从而消除对批评(ping)模型(xing)的依赖。采(cai)用10作为分组大小。

5. 使用标准的对数(shu)概率梯度(du)技巧对模型(xing)进行更新。

初(chu)始化一个(ge)经过指令微调的LLM，并(bing)通(tong)过合适的提示词使其在 标签中(zhong)包含推理步骤。

为模型(xing)输出定义一个(ge)奖励(li)函数(shu)（例如，在GSM8K基准中(zhong)的正确率）。通(tong)过正则表(biao)达式从标签中(zhong)提取数(shu)值，并(bing)与数(shu)据集中(zhong)的实际答案(an)进行比较。

通(tong)过直接计算相对于奖励(li)的梯度(du)来优化策(ce)略，无需使用替(ti)代损失函数(shu)。

采(cai)用分组相对归一化优势计算值，从而消除对批评(ping)模型(xing)的依赖。采(cai)用10作为分组大小。

使用标准的对数(shu)概率梯度(du)技巧对模型(xing)进行更新。

GSM8K 数(shu)据集

为了(le)验证自己的假设(she)，研究人员将使用GSM8K，这是(shi)一个(ge)包含小学数(shu)学问题及(ji)其答案(an)的Grade School Math 8K数(shu)据集，格式如下：

问题：Natalia在4月份(fen)向她的48个(ge)朋友卖出了(le)发夹，而在5月份(fen)她售(shou)卖的发夹数(shu)量是(shi)4月份(fen)的一半。Natalia在4月和5月总共售(shou)卖了(le)多(duo)少个(ge)发夹？

Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?

答案(an)：Natalia在5月售(shou)卖了(le)48/2 = <<48/2=24>>24个(ge)发夹。Natalia在4月和5月总共售(shou)卖了(le)48+24 = <<48+24=72>>72个(ge)发夹。#### 72

Natalia sold 48/2 = <<48/2=24>>24 clips in May. Natalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May. #### 72

虽然答案(an)中(zhong)就包含了(le)完整的推理步骤，但让研究人员感兴趣的，只有###后的最(zui)终答案(an)。

对此，研究人员引导策(ce)略模型(xing)，以格式输出了(le)最(zui)终答案(an)，并(bing)用它来验证模型(xing)计算的答案(an)是(shi)否(fou)正确。

这更像是(shi)一个(ge)蒙特卡(ka)洛问题——在每个(ge)回合结束时(shi)，才能获得奖励(li)。

奖励(li)建(jian)模

研究人员把奖励(li)机制设(she)计得很(hen)简单易懂，对于策(ce)略模型(xing)：

• 答案(an)错误时(shi)，给予负奖励(li)-1

• 答案(an)正确时(shi)，给予正奖励(li)+1

答案(an)正确时(shi)，给予正奖励(li)+1

训练设(she)置

接下来，研究人员使用Reinforce-Lite算法，在RTX A6000显卡(ka)上训练了(le)3B模型(xing)，训练时(shi)间(jian)为12小时(shi)，并(bing)采(cai)用大小为10的分组。

在训练初(chu)期，可以观察到：模型(xing)不断尝试增加输出序列/输出token的长度(du)，但会(hui)经常遇到内存(cun)溢出（OOM）问题，这就限制了(le)模型(xing)尝试更长的推理过程，并(bing)从中(zhong)有效学习。

奖励(li)图表(biao)展示的是(shi)分组响应的平均得分。理想情况下，平均值越接近1，表(biao)示模型(xing)在大多(duo)数(shu)采(cai)样响应中(zhong)的准确率越高。

在这次实验中(zhong)，研究人员只训练了(le)数(shu)百次迭代，可以观察到当策(ce)略模型(xing)尝试不同策(ce)略时(shi)，得分会(hui)出现一定波动。

这种波动可以通(tong)过熵正则化来平衡探索与利用之间(jian)的关系，这是(shi)他(ta)们未来探索的一个(ge)方向。

对比测试Reinforce-Lite和Instruct模型(xing)

研究在GSM8K数(shu)据集上评(ping)估(gu)了(le)Reinforce-Lite，发现在有限训练时(shi)间(jian)内，Reinforce-Lite相比指令模型(xing)在得分上实现了(le)小幅提升。

具体来说，Meta Llama 3.2模型(xing)提升了(le)2.0％（从70.5提升至72.5），而在FP16格式下运行的Phi 3.5 Instruct则提升了(le)0.6％（从83.4提升至84.0）。

推理轨迹(ji)分析观察一些推理轨迹(ji)后可以发现，经过Reinforce-Lite微调的模型(xing)展现出了(le)多(duo)种推理能力，包括：

• 逻辑思维(wei)
• 搜(sou)索策(ce)略
• 结果验证
• 通(tong)过表(biao)格进行中(zhong)间(jian)计算
• 试错方法等

注意！这些推理轨迹(ji)，在常规的指令模型(xing)中(zhong)均未观察到。

比如在下图中(zhong)，模型(xing)展现出了(le)基本的数(shu)学推理能力。它能够通(tong)过代数(shu)表(biao)达式设(she)立问题，并(bing)通(tong)过解方程来求(qiu)解。

过程中(zhong)，它能识别(bie)出不合理的解，在原方案(an)不可行时(shi)选择调整解决(jue)方案(an)，最(zui)终还能通(tong)过比较不同选择的成本，来做出最(zui)优决(jue)策(ce)。

在这道题中(zhong)，模型(xing)表(biao)现出的处理包含条件推理和纠错的能力，也令人印象(xiang)深刻。

它首先设(she)定了(le)问题背景，计算派对开始时(shi)的总人数(shu)。然后根据已知条件（总共40人，1/4人离开），计算出有10人离开派对。

然而，在计算离开的女性人数(shu)时(shi)，模型(xing)居(ju)然得出了(le)一个(ge)负数(shu)，它意识到了(le)自己的推理中(zhong)，一定出现了(le)逻辑错误。

为此，它重(zhong)新审视了(le)情况，修(xiu)正了(le)自己的推理，正确计算出派对上剩下了(le)8名女性，从而得出正确答案(an)。

这道题中(zhong)，模型(xing)设(she)定初(chu)始绷带数(shu)量为x，根据给定条件将绷带数(shu)量的变(bian)化转换为代数(shu)方程，但解出的方程结果是(shi)x=-6。

它意识到自己的错误后，回顾了(le)之前的步骤，识别(bie)出自己在计算第三天的绷带使用量时(shi)犯(fan)了(le)错。修(xiu)正方程后，它重(zhong)新计算出了(le)正确结果。

整个(ge)过程中(zhong)，它展现出了(le)较强的自我纠错和逻辑推理能力，能在复杂计算过程中(zhong)发现并(bing)修(xiu)正问题。

关键要点总结

总结来说，这项研究主要有以下发现。

1. 结构化推理能力提升

   从生成的序列中(zhong)可以观察到，经过RL微调的模型(xing)在评(ping)估(gu)得分上实现了(le)小幅提升。

2. 简化算法复杂度(du)，无需PPO的复杂性

   研究表(biao)明，对LLM进行微调只需要一个(ge)策(ce)略网络即可，无需采(cai)用PPO的复杂机制。

3. 优化计算效率

   Reinforce-Lite作为一个(ge)计算友好型(xing)算法，支持端到端的RL训练，同时(shi)显著降低了(le)训练复杂度(du)。

4. 增强模型(xing)自主性

   算法成功地赋予了(le)LLM自主能力，让模型(xing)会(hui)通(tong)过尝试不同策(ce)略来获取奖励(li)。

5. 更长的推理回合，需要更多(duo)内存(cun)

   随(sui)着训练的进行，可以发现模型(xing)倾(qing)向于进行更长的推理过程，但在使用48GB GPU训练3GB模型(xing)（FP16）时(shi)，如果超(chao)过1024个(ge)token，就会(hui)频繁出现内存(cun)溢出问题。

6. 在没有KL散度(du)的情况下确保(bao)稳定性

   研究人员发现，使用简单的梯度(du)裁剪就能有效替(ti)代KL散度(du)计算，这是(shi)一种高效的替(ti)代方案(an)，用于防止(zhi)策(ce)略偏离。在整个(ge)训练过程中(zhong)，模型(xing)策(ce)略保(bao)持稳定，未出现剧烈波动。

从生成的序列中(zhong)可以观察到，经过RL微调的模型(xing)在评(ping)估(gu)得分上实现了(le)小幅提升。

研究表(biao)明，对LLM进行微调只需要一个(ge)策(ce)略网络即可，无需采(cai)用PPO的复杂机制。

Reinforce-Lite作为一个(ge)计算友好型(xing)算法，支持端到端的RL训练，同时(shi)显著降低了(le)训练复杂度(du)。

算法成功地赋予了(le)LLM自主能力，让模型(xing)会(hui)通(tong)过尝试不同策(ce)略来获取奖励(li)。

随(sui)着训练的进行，可以发现模型(xing)倾(qing)向于进行更长的推理过程，但在使用48GB GPU训练3GB模型(xing)（FP16）时(shi)，如果超(chao)过1024个(ge)token，就会(hui)频繁出现内存(cun)溢出问题。

研究人员发现，使用简单的梯度(du)裁剪就能有效替(ti)代KL散度(du)计算，这是(shi)一种高效的替(ti)代方案(an)，用于防止(zhi)策(ce)略偏离。在整个(ge)训练过程中(zhong)，模型(xing)策(ce)略保(bao)持稳定，未出现剧烈波动。

巧的是(shi)，最(zui)近来自微软亚洲研究院的一项工作，也证明了(le)RL的巨大潜力——通(tong)过有效且稳定的RL训练后，一个(ge)7B模型(xing)，居(ju)然就发展出了(le)反思、验证和总结的高级推理技能！

而这些技能，在逻辑语料库(ku)中(zhong)是(shi)完全缺失的。

受DeepSeek-R1成功的启发，研究团队(dui)探索了(le)基于规则的强化学习（RL）在大规模推理模型(xing)中(zhong)的潜力。

为了(le)分析推理机制，他(ta)们选择了(le)具有可控复杂度(du)和直接答案(an)验证方式的「合成逻辑谜题」作为训练数(shu)据。 在此过程中(zhong)，团队(dui)取得了(le)一些关键性的技术突破，并(bing)促(cu)成了(le)有效且稳定的RL训练：

• 一个(ge)着重(zhong)强调思考和回答过程的system prompt
• 一个(ge)用于惩罚(fa)取巧输出的严格格式奖励(li)函数(shu)

• 一个(ge)能实现稳定收敛的简单训练方案(an)

一个(ge)能实现稳定收敛的简单训练方案(an)

其中(zhong)，训练框架采(cai)用REINFORCE++算法和来自DeepSeek-R1的奖励(li)设(she)计进行后训练。

随(sui)着RL训练的进行，可以观察到模型(xing)自然地分配更多(duo)的训练步骤用于推理。这种计算扩展从生成数(shu)百个(ge)token扩展到数(shu)千个(ge)token，使其能够更深入地探索和完善其思维(wei)过程。

结果显示，只有70亿参数(shu)的Qwen2.5-7B，在经过5K个(ge)逻辑问题的训练后，就发展出了(le)一些在逻辑语料库(ku)中(zhong)原本不存(cun)在的高级推理技能——如反思、验证和总结能力。

研究中(zhong)，考验模型(xing)的这道逻辑题是(shi)这样的。

问题：一个(ge)非常特殊的岛屿(yu)上只住着骑士和骗子(zi)。骑士总是(shi)说真话，骗子(zi)总是(shi)说谎。你遇到两位岛民(min)：Zoey和Oliver。Zoey说：「Oliver不是(shi)骑士。」Oliver说：「Oliver是(shi)骑士且Zoey是(shi)骗子(zi)。」请问，谁是(shi)骑士，谁是(shi)骗子(zi)？

正确答案(an)：（1）Zoey是(shi)骗子(zi)；（2）Oliver是(shi)骑士。

这个(ge)「骑士与骗子(zi)」谜题，因其合成设(she)计和逻辑精确性而非常适合进一步分析。

首先，谜题对于模型(xing)来说都是(shi)未见过大数(shu)据，非常适合用来测试泛化能力。

其次，通(tong)过改变(bian)字符数(shu)量（2到8个(ge)）和逻辑运算的复杂性（1到4种布尔运算符组合），可以调节难度(du)。

而且，每个(ge)谜题都有一个(ge)单一、明确的正确答案(an)，正确性由生成算法保(bao)证。解答需要严格的演绎推理，因此减少了(le)奖励(li)作弊(bi)的风险。

总之，每个(ge)谜题都遵(zun)循正式规则构建(jian)，能确保(bao)每个(ge)问题都有一个(ge)独特的解决(jue)方案(an)，并(bing)可以确定性地验证。这消除了(le)自然语言任务中(zhong)常见的模糊性，使我们能够清(qing)晰地区分真正的推理能力和表(biao)面上的记忆。

在奖励(li)建(jian)模中(zhong)，研究在模型(xing)输出中(zhong)不断检测作弊(bi)行为，并(bing)不断改进奖励(li)设(she)计。

最(zui)终，他(ta)们设(she)计出了(le)一种几乎无法作弊(bi)的基于规则的奖励(li)系统，仅包含两种奖励(li)类型(xing)：格式奖励(li)和答案(an)奖励(li)。

以下就是(shi)不同的推理模型(xing)和通(tong)用模型(xing)在不同难度(du)的K&K逻辑谜题上的表(biao)现。

在RL训练后，可以在模型(xing)中(zhong)观察到以下涌现的行为。

1. 会(hui)出现犹豫和自我验证

在思考环节，模型(xing)会(hui)不时(shi)使用「我不是(shi)完全确定，让我们重(zhong)新检查(cha)这一步」这类反思性表(biao)达。

这种自我审视的行为特征在预训练阶段是(shi)完全不存(cun)在的，而是(shi)通(tong)过奖励(li)正确答案(an)、惩罚(fa)错误答案(an)的强化学习机制逐(zhu)步培养形成的。

2. 多(duo)轮径探索和回溯

经过RL训练后，模型(xing)会(hui)主动提出多(duo)个(ge)解决(jue)方案(an)（「让我们测试两种可能性」），并(bing)通(tong)过回溯来检查(cha)解决(jue)方案(an)的一致性。

3. 应用公(gong)式

尽管训练数(shu)据集中(zhong)并(bing)未包含，但模型(xing)不仅能够通(tong)过系统性试错方法解决(jue)谜题，还自主整合了(le)形式逻辑推理能力（比如运用「如果P，则Q」的逻辑蕴含公(gong)式），这种推理模式与人类的问题解决(jue)方式高度(du)相似。

4.忽然开始说中(zhong)文

模型(xing)在分析问题陈述时(shi)会(hui)临时(shi)插入中(zhong)文表(biao)达，随(sui)后又(you)能自然地转换为英语来提供解决(jue)方案(an)。

这一现象(xiang)表(biao)明，模型(xing)正在使用语言混合机制作为一种潜在的备选处理策(ce)略，或是(shi)形成了(le)某种特殊的内部表(biao)征模式。

在具有挑战(zhan)性的数(shu)学基准测试AIME和AMC上，模型(xing)展现出了(le)卓越的泛化能力——成绩分别(bie)提高了(le)125%和38%。

这种跨领域(yu)泛化能力表(biao)明，RL训练的推理启发式方法发展出了(le)抽象(xiang)的问题解决(jue)模式，而不是(shi)依赖于特定领域(yu)的模式匹配。

所以，这项研究的训练期间(jian)，也出现「顿悟时(shi)刻」了(le)吗？

换句话说就是(shi)，在强化学习过程中(zhong)，模型(xing)的推理能力是(shi)否(fou)会(hui)发生显著的飞(fei)跃，出现多(duo)步验证或反思，而且这些行为不是(shi)在训练语料中(zhong)明确植入的，而是(shi)模型(xing)与RL环境的互动所自然产生的？

研究人员发现，模型(xing)并(bing)没有出现「等一下，等一下」这样特定的语言表(biao)述，但图4显示出，它在第10步时(shi)表(biao)现出了(le)一些复杂的推理行为（例如自我反思、探索、验证、总结）。

由此，研究人员的结论是(shi)，RL学习过程可能没有突如其来的「顿悟时(shi)刻」——复杂的推理行为并(bing)不是(shi)在某个(ge)特定的训练步骤中(zhong)突然出现的。

1. 反思性词汇(hui)（如「检查(cha)」和「验证」）的频率缓慢增加（a）-（c）；2. 会(hui)话性短语（例如「让我们」）和谨慎词汇(hui)（例如「还」）变(bian)得更加频繁（d）-（e）；3. 中(zhong)文词汇(hui)开始出现在英文回复中(zhong)（f）。所有这些词汇(hui)的频率都在稳步发展，没有突然的跳跃，表(biao)明可能不存(cun)在明显的「顿悟时(shi)刻」

除了(le)上述技术贡献外，研究还有几个(ge)有趣的发现：

• 更长的回答并(bing)不能保(bao)证更好的推理。长度(du)本身不是(shi)评(ping)估(gu)训练时(shi)间(jian)的有效指标。最(zui)有效的推理来自最(zui)短路径。

• 语言混合会(hui)阻碍推理。这一观察强调了(le)在奖励(li)建(jian)模中(zhong)需要语言一致性惩罚(fa)。

• 增加「思考」token确实有帮助。RL训练自然地提高了(le)与反思相关词汇(hui)的频率，表(biao)明某些token频率与性能之间(jian)存(cun)在相关性。

• 监(jian)督微调（SFT）依赖记忆；RL实现泛化。SFT严重(zhong)依赖记忆，往往导致表(biao)面的捷径学习，而RL则在最(zui)小依赖数(shu)据集结构的情况下自我演化。

• 冷启动是(shi)一个(ge)优势，但非必(bi)需。无论是(shi)从基础模型(xing)还是(shi)指令模型(xing)开始，训练动态都保(bao)持惊人的相似性，尽管后者表(biao)现略好。

• 课程学习仍然重(zhong)要。在固定的数(shu)据筛选比例下，精心设(she)计的课程学习方法总是(shi)优于随(sui)机打乱(luan)。

更长的回答并(bing)不能保(bao)证更好的推理。长度(du)本身不是(shi)评(ping)估(gu)训练时(shi)间(jian)的有效指标。最(zui)有效的推理来自最(zui)短路径。

语言混合会(hui)阻碍推理。这一观察强调了(le)在奖励(li)建(jian)模中(zhong)需要语言一致性惩罚(fa)。

增加「思考」token确实有帮助。RL训练自然地提高了(le)与反思相关词汇(hui)的频率，表(biao)明某些token频率与性能之间(jian)存(cun)在相关性。

监(jian)督微调（SFT）依赖记忆；RL实现泛化。SFT严重(zhong)依赖记忆，往往导致表(biao)面的捷径学习，而RL则在最(zui)小依赖数(shu)据集结构的情况下自我演化。

冷启动是(shi)一个(ge)优势，但非必(bi)需。无论是(shi)从基础模型(xing)还是(shi)指令模型(xing)开始，训练动态都保(bao)持惊人的相似性，尽管后者表(biao)现略好。

课程学习仍然重(zhong)要。在固定的数(shu)据筛选比例下，精心设(she)计的课程学习方法总是(shi)优于随(sui)机打乱(luan)。

本文来源(yuan)：，原文标题：《10美元成功复现DeepSeek顿悟时(shi)刻，3B模型(xing)爆发超(chao)强推理！微软论文实锤涌现》