因此，Raz选择从非常简单的RL算法——Reinforce-Lite入手。

采用轻量级强化学习算法——Reinforce-Lite生成的推理过程(cheng)之(zhi)一。我们将一步步看到，端到端的强化学习微调模型如何(he)表现出(chu)智能、回溯(su)、自我反(fan)思、逻辑(ji)推理等迹象

结果，令人出(chu)乎意料的事情发生了：只用不到10美元的成本，他就在一个3B模型上复刻(ke)了DeepSeek的顿悟时刻(ke)。

几乎就像是这个3B模型本身就具备了做出(chu)惊(jing)人事情的潜力，我们需要的，只是通过正确的方式(shi)赋予它一定的自主性而已。

接下来，让我们看一下Raz的博客，感受一下这次超经济实惠的AI推理，是怎样突破的。

复刻(ke)DeepSeek顿悟时刻(ke)，只用不到10美元

我们能否(fou)在计算资源有限（只有48GB RTX6000显卡和(he)10美元）的情况下，让一个3B模型具备回溯(su)、自我反(fan)思、逻辑(ji)推理等推理能力？

研究人员猜测，通过强化学习也许能做到。

强化学习是最强大的学习算法之(zhi)一，它一次又一次地为(wei)我们带来令人惊(jing)叹的成果。

DeepMind的AlphaGo、OpenAI的DOTA 2、MuJoCo和(he)Atari实验、LLM的RLHF对(dui)齐，以及最近DeepSeek全(quan)面布局的RL技术，无比证明它的强大威力。

然而，由于RL有许多动(dong)态部分，一涉及到众多组(zu)件，强化学习就变得(de)复杂了。

在此过程(cheng)中，强化学习需要精心设计重要元素，如合适的信用分配机制、演员-评论员的适当超参数调整、强化学习算法类型（基于模型/无模型）等，这就导(dao)致了强化学习在更(geng)广泛的范(fan)围内(nei)应用受限。

如果在LLM环境(jing)中使用强化学习，可能涉及的模型可以多达5个：

1. 策略模型：正在训(xun)练的模型
2. 旧策略模型：用于计算替代目(mu)标
3. 参考模型：用于计算KL散度(du)（KL-divergence）
4. 奖励模型：用于学习奖励函数
5. 评判模型：用于计算价(jia)值函数

Reinforce-Lite：一个比PPO更(geng)简单、更(geng)稳定且更(geng)高效的微调方案(an)

3B模型端到端强化学习训(xun)练的计算需求

由于涉及众多组(zu)件，不仅带来了计算负担，还带来了训(xun)练稳定性方面的复杂性和(he)挑战。

因此，研究人员开始思考：能否(fou)从零开始重新构想整个算法，回归第(di)一性原理？

他们的答案(an)就是——一个简单的替代方案(an)，Reinforce-Lite。

这种方法消除了对(dui)替代目(mu)标比率(lu)和(he)旧策略模型的需求，通过单一策略神经网络来稳定训(xun)练过程(cheng)，同时，还能为(wei)模型注(zhu)入推理能力。

为(wei)此，我们需要理解的第(di)一个问题就是——

使用替代目(mu)标比率(lu)（如PPO/GRPO）是过度(du)优化？

OpenAI vs DOTA 5v5：基于大规模强化学习训(xun)练

在MuJoCo、Atari、Dota等传统强化学习环境(jing)中，PPO对(dui)每个批次进行(xing)多次更(geng)新是至关重要的，这是因为(wei)在这些环境(jing)中数据(ju)收集成本非常高昂，而重复使用样本可以提高样本效率(lu)。

然而在LLM中，这种方法既无必要，又会带来巨大的计算开销。

LLM可以并行(xing)生成多样化的响应，自然形成丰富的数据(ju)集，因此就无需重复更(geng)新。

所有响应都可以使用相同的策略网络生成，一旦(dan)在序列生成结束(shu)时获(huo)得(de)奖励，就可以进行(xing)梯度(du)反(fan)向传播。

此外，在文本生成这样的高维动(dong)作空间中，每个batch多次更(geng)新可能导(dao)致过拟合，而非有意义的策略改进。

相反(fan)，如果每个batch单次更(geng)新，再结合分组(zu)归一化等技术，就可以在显著(zhu)降低计算成本的同时，保持训(xun)练稳定性。

考虑到LLM训(xun)练本身就需要大量资源，在不影响性能的前(qian)提下简化优化过程(cheng)，显然是更(geng)有效的选择。

从技术角度(du)来看，这也消除了为(wei)计算替代目(mu)标比率(lu)而保留旧策略模型的需求。

LLM强化学习与经典强化学习的区别

总(zong)之(zhi)，在这个算法中——

1. 移除KL散度(du)，不需要参考模型 ❌ ——改用梯度(du)裁剪。虽(sui)然不是自适应的方法，但能有效完成任务。

2. 移除替代目(mu)标，不需要旧策略模型 ❌

3. 使用分组(zu)相对(dui)奖励进行(xing)优势计算（类似DeepSeek的GRPO方式(shi)），不需要价(jia)值网络 ❌

移除KL散度(du)，不需要参考模型 ❌ ——改用梯度(du)裁剪。虽(sui)然不是自适应的方法，但能有效完成任务。

移除替代目(mu)标，不需要旧策略模型 ❌

使用分组(zu)相对(dui)奖励进行(xing)优势计算（类似DeepSeek的GRPO方式(shi)），不需要价(jia)值网络 ❌

这样，我们就得(de)到了一个轻量级的强化学习算法。

通过以上简化，优化问题最终(zhong)就回归为(wei)经典的Reinforce算法——

Reinforce-Lite

在优势计算方面，研究人员采用分组(zu)相对(dui)策略优化（GRPO）的归一化技术，将每个问题的10个回应结果作为(wei)一组(zu)，并通过其归一化方法来降低梯度(du)更(geng)新中的方差(cha)。

让我们来看看它在PyTorch中的具体实现。

1. 初始化一个经过指令微调的LLM，并通过合适的提示词(ci)使其在 标签中包含推理步骤。

2. 为(wei)模型输(shu)出(chu)定义一个奖励函数（例如，在GSM8K基准中的正确率(lu)）。通过正则表达式(shi)从标签中提取数值，并与数据(ju)集中的实际答案(an)进行(xing)比较。

3. 通过直接计算相对(dui)于奖励的梯度(du)来优化策略，无需使用替代损失函数。

4. 采用分组(zu)相对(dui)归一化优势计算值，从而消除对(dui)批评模型的依赖(lai)。采用10作为(wei)分组(zu)大小。

5. 使用标准的对(dui)数概(gai)率(lu)梯度(du)技巧对(dui)模型进行(xing)更(geng)新。

初始化一个经过指令微调的LLM，并通过合适的提示词(ci)使其在 标签中包含推理步骤。

为(wei)模型输(shu)出(chu)定义一个奖励函数（例如，在GSM8K基准中的正确率(lu)）。通过正则表达式(shi)从标签中提取数值，并与数据(ju)集中的实际答案(an)进行(xing)比较。

通过直接计算相对(dui)于奖励的梯度(du)来优化策略，无需使用替代损失函数。

采用分组(zu)相对(dui)归一化优势计算值，从而消除对(dui)批评模型的依赖(lai)。采用10作为(wei)分组(zu)大小。

使用标准的对(dui)数概(gai)率(lu)梯度(du)技巧对(dui)模型进行(xing)更(geng)新。

GSM8K 数据(ju)集

为(wei)了验证自己(ji)的假设，研究人员将使用GSM8K，这是一个包含小学数学问题及其答案(an)的Grade School Math 8K数据(ju)集，格式(shi)如下：

问题：Natalia在4月份向她的48个朋友卖出(chu)了发夹(jia)，而在5月份她售卖的发夹(jia)数量是4月份的一半。Natalia在4月和(he)5月总(zong)共售卖了多少个发夹(jia)？

Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?

答案(an)：Natalia在5月售卖了48/2 = <<48/2=24>>24个发夹(jia)。Natalia在4月和(he)5月总(zong)共售卖了48+24 = <<48+24=72>>72个发夹(jia)。#### 72

Natalia sold 48/2 = <<48/2=24>>24 clips in May. Natalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May. #### 72

虽(sui)然答案(an)中就包含了完整的推理步骤，但让研究人员感兴趣的，只有###后的最终(zhong)答案(an)。

对(dui)此，研究人员引(yin)导(dao)策略模型，以格式(shi)输(shu)出(chu)了最终(zhong)答案(an)，并用它来验证模型计算的答案(an)是否(fou)正确。

这更(geng)像是一个蒙特卡洛问题——在每个回合结束(shu)时，才能获(huo)得(de)奖励。

奖励建模

研究人员把奖励机制设计得(de)很简单易懂，对(dui)于策略模型：

• 答案(an)错误时，给予负奖励-1

• 答案(an)正确时，给予正奖励+1

答案(an)正确时，给予正奖励+1

训(xun)练设置(zhi)

接下来，研究人员使用Reinforce-Lite算法，在RTX A6000显卡上训(xun)练了3B模型，训(xun)练时间为(wei)12小时，并采用大小为(wei)10的分组(zu)。

在训(xun)练初期，可以观察到：模型不断尝试增加输(shu)出(chu)序列/输(shu)出(chu)token的长度(du)，但会经常遇(yu)到内(nei)存溢出(chu)（OOM）问题，这就限制了模型尝试更(geng)长的推理过程(cheng)，并从中有效学习。

奖励图表展示的是分组(zu)响应的平(ping)均得(de)分。理想情况下，平(ping)均值越接近1，表示模型在大多数采样响应中的准确率(lu)越高。

在这次实验中，研究人员只训(xun)练了数百次迭代，可以观察到当策略模型尝试不同策略时，得(de)分会出(chu)现一定波动(dong)。

这种波动(dong)可以通过熵正则化来平(ping)衡(heng)探索与利用之(zhi)间的关系，这是他们未(wei)来探索的一个方向。

对(dui)比测试Reinforce-Lite和(he)Instruct模型

研究在GSM8K数据(ju)集上评估了Reinforce-Lite，发现在有限训(xun)练时间内(nei)，Reinforce-Lite相比指令模型在得(de)分上实现了小幅提升(sheng)。

具体来说，Meta Llama 3.2模型提升(sheng)了2.0％（从70.5提升(sheng)至72.5），而在FP16格式(shi)下运(yun)行(xing)的Phi 3.5 Instruct则提升(sheng)了0.6％（从83.4提升(sheng)至84.0）。

推理轨迹分析观察一些推理轨迹后可以发现，经过Reinforce-Lite微调的模型展现出(chu)了多种推理能力，包括(kuo)：

• 逻辑(ji)思维
• 搜索策略
• 结果验证
• 通过表格进行(xing)中间计算
• 试错方法等

注(zhu)意！这些推理轨迹，在常规的指令模型中均未(wei)观察到。

比如在下图中，模型展现出(chu)了基本的数学推理能力。它能够(gou)通过代数表达式(shi)设立问题，并通过解方程(cheng)来求解。

过程(cheng)中，它能识别出(chu)不合理的解，在原方案(an)不可行(xing)时选择调整解决(jue)方案(an)，最终(zhong)还能通过比较不同选择的成本，来做出(chu)最优决(jue)策。

在这道(dao)题中，模型表现出(chu)的处理包含条件推理和(he)纠(jiu)错的能力，也令人印象深刻(ke)。

它首先设定了问题背(bei)景，计算派对(dui)开始时的总(zong)人数。然后根据(ju)已知条件（总(zong)共40人，1/4人离开），计算出(chu)有10人离开派对(dui)。

然而，在计算离开的女性人数时，模型居然得(de)出(chu)了一个负数，它意识到了自己(ji)的推理中，一定出(chu)现了逻辑(ji)错误。

为(wei)此，它重新审(shen)视了情况，修正了自己(ji)的推理，正确计算出(chu)派对(dui)上剩下了8名女性，从而得(de)出(chu)正确答案(an)。

这道(dao)题中，模型设定初始绷带数量为(wei)x，根据(ju)给定条件将绷带数量的变化转换为(wei)代数方程(cheng)，但解出(chu)的方程(cheng)结果是x=-6。

它意识到自己(ji)的错误后，回顾了之(zhi)前(qian)的步骤，识别出(chu)自己(ji)在计算第(di)三天的绷带使用量时犯了错。修正方程(cheng)后，它重新计算出(chu)了正确结果。

整个过程(cheng)中，它展现出(chu)了较强的自我纠(jiu)错和(he)逻辑(ji)推理能力，能在复杂计算过程(cheng)中发现并修正问题。

关键要点总(zong)结

总(zong)结来说，这项研究主要有以下发现。

1. 结构化推理能力提升(sheng)

   从生成的序列中可以观察到，经过RL微调的模型在评估得(de)分上实现了小幅提升(sheng)。

2. 简化算法复杂度(du)，无需PPO的复杂性

   研究表明，对(dui)LLM进行(xing)微调只需要一个策略网络即可，无需采用PPO的复杂机制。

3. 优化计算效率(lu)

   Reinforce-Lite作为(wei)一个计算友好型算法，支持端到端的RL训(xun)练，同时显著(zhu)降低了训(xun)练复杂度(du)。

4. 增强模型自主性

   算法成功地赋予了LLM自主能力，让模型会通过尝试不同策略来获(huo)取奖励。

5. 更(geng)长的推理回合，需要更(geng)多内(nei)存

   随着训(xun)练的进行(xing)，可以发现模型倾(qing)向于进行(xing)更(geng)长的推理过程(cheng)，但在使用48GB GPU训(xun)练3GB模型（FP16）时，如果超过1024个token，就会频繁出(chu)现内(nei)存溢出(chu)问题。

6. 在没有KL散度(du)的情况下确保稳定性

   研究人员发现，使用简单的梯度(du)裁剪就能有效替代KL散度(du)计算，这是一种高效的替代方案(an)，用于防止策略偏离。在整个训(xun)练过程(cheng)中，模型策略保持稳定，未(wei)出(chu)现剧烈波动(dong)。

从生成的序列中可以观察到，经过RL微调的模型在评估得(de)分上实现了小幅提升(sheng)。

研究表明，对(dui)LLM进行(xing)微调只需要一个策略网络即可，无需采用PPO的复杂机制。

Reinforce-Lite作为(wei)一个计算友好型算法，支持端到端的RL训(xun)练，同时显著(zhu)降低了训(xun)练复杂度(du)。

算法成功地赋予了LLM自主能力，让模型会通过尝试不同策略来获(huo)取奖励。

随着训(xun)练的进行(xing)，可以发现模型倾(qing)向于进行(xing)更(geng)长的推理过程(cheng)，但在使用48GB GPU训(xun)练3GB模型（FP16）时，如果超过1024个token，就会频繁出(chu)现内(nei)存溢出(chu)问题。

研究人员发现，使用简单的梯度(du)裁剪就能有效替代KL散度(du)计算，这是一种高效的替代方案(an)，用于防止策略偏离。在整个训(xun)练过程(cheng)中，模型策略保持稳定，未(wei)出(chu)现剧烈波动(dong)。

巧的是，最近来自微软亚洲研究院的一项工(gong)作，也证明了RL的巨大潜力——通过有效且稳定的RL训(xun)练后，一个7B模型，居然就发展出(chu)了反(fan)思、验证和(he)总(zong)结的高级推理技能！

而这些技能，在逻辑(ji)语料库中是完全(quan)缺失的。

受DeepSeek-R1成功的启发，研究团队探索了基于规则的强化学习（RL）在大规模推理模型中的潜力。

为(wei)了分析推理机制，他们选择了具有可控复杂度(du)和(he)直接答案(an)验证方式(shi)的「合成逻辑(ji)谜题」作为(wei)训(xun)练数据(ju)。 在此过程(cheng)中，团队取得(de)了一些关键性的技术突破，并促成了有效且稳定的RL训(xun)练：

• 一个着重强调思考和(he)回答过程(cheng)的system prompt
• 一个用于惩罚取巧输(shu)出(chu)的严格格式(shi)奖励函数

• 一个能实现稳定收敛的简单训(xun)练方案(an)

一个能实现稳定收敛的简单训(xun)练方案(an)

其中，训(xun)练框架(jia)采用REINFORCE++算法和(he)来自DeepSeek-R1的奖励设计进行(xing)后训(xun)练。

随着RL训(xun)练的进行(xing)，可以观察到模型自然地分配更(geng)多的训(xun)练步骤用于推理。这种计算扩展从生成数百个token扩展到数千(qian)个token，使其能够(gou)更(geng)深入地探索和(he)完善其思维过程(cheng)。

结果显示，只有70亿参数的Qwen2.5-7B，在经过5K个逻辑(ji)问题的训(xun)练后，就发展出(chu)了一些在逻辑(ji)语料库中原本不存在的高级推理技能——如反(fan)思、验证和(he)总(zong)结能力。

研究中，考验模型的这道(dao)逻辑(ji)题是这样的。

问题：一个非常特殊的岛屿上只住着骑士和(he)骗子。骑士总(zong)是说真话，骗子总(zong)是说谎。你遇(yu)到两位岛民：Zoey和(he)Oliver。Zoey说：「Oliver不是骑士。」Oliver说：「Oliver是骑士且Zoey是骗子。」请问，谁是骑士，谁是骗子？

正确答案(an)：（1）Zoey是骗子；（2）Oliver是骑士。

这个「骑士与骗子」谜题，因其合成设计和(he)逻辑(ji)精确性而非常适合进一步分析。

首先，谜题对(dui)于模型来说都是未(wei)见过大数据(ju)，非常适合用来测试泛化能力。

其次，通过改变字符(fu)数量（2到8个）和(he)逻辑(ji)运(yun)算的复杂性（1到4种布尔运(yun)算符(fu)组(zu)合），可以调节难度(du)。

而且，每个谜题都有一个单一、明确的正确答案(an)，正确性由生成算法保证。解答需要严格的演绎推理，因此减少了奖励作弊的风险。

总(zong)之(zhi)，每个谜题都遵循正式(shi)规则构建，能确保每个问题都有一个独特的解决(jue)方案(an)，并可以确定性地验证。这消除了自然语言任务中常见的模糊性，使我们能够(gou)清晰地区分真正的推理能力和(he)表面上的记忆。

在奖励建模中，研究在模型输(shu)出(chu)中不断检测作弊行(xing)为(wei)，并不断改进奖励设计。

最终(zhong)，他们设计出(chu)了一种几乎无法作弊的基于规则的奖励系统，仅包含两种奖励类型：格式(shi)奖励和(he)答案(an)奖励。

以下就是不同的推理模型和(he)通用模型在不同难度(du)的K&K逻辑(ji)谜题上的表现。

在RL训(xun)练后，可以在模型中观察到以下涌现的行(xing)为(wei)。

1. 会出(chu)现犹豫和(he)自我验证

在思考环节，模型会不时使用「我不是完全(quan)确定，让我们重新检查这一步」这类反(fan)思性表达。

这种自我审(shen)视的行(xing)为(wei)特征在预训(xun)练阶段是完全(quan)不存在的，而是通过奖励正确答案(an)、惩罚错误答案(an)的强化学习机制逐步培养形成的。

2. 多轮径探索和(he)回溯(su)

经过RL训(xun)练后，模型会主动(dong)提出(chu)多个解决(jue)方案(an)（「让我们测试两种可能性」），并通过回溯(su)来检查解决(jue)方案(an)的一致性。

3. 应用公式(shi)

尽管(guan)训(xun)练数据(ju)集中并未(wei)包含，但模型不仅能够(gou)通过系统性试错方法解决(jue)谜题，还自主整合了形式(shi)逻辑(ji)推理能力（比如运(yun)用「如果P，则Q」的逻辑(ji)蕴含公式(shi)），这种推理模式(shi)与人类的问题解决(jue)方式(shi)高度(du)相似。

4.忽然开始说中文

模型在分析问题陈述时会临时插(cha)入中文表达，随后又能自然地转换为(wei)英语来提供解决(jue)方案(an)。

这一现象表明，模型正在使用语言混合机制作为(wei)一种潜在的备选处理策略，或是形成了某种特殊的内(nei)部表征模式(shi)。

在具有挑战性的数学基准测试AIME和(he)AMC上，模型展现出(chu)了卓越的泛化能力——成绩(ji)分别提高了125%和(he)38%。

这种跨领域泛化能力表明，RL训(xun)练的推理启发式(shi)方法发展出(chu)了抽象的问题解决(jue)模式(shi)，而不是依赖(lai)于特定领域的模式(shi)匹配。

所以，这项研究的训(xun)练期间，也出(chu)现「顿悟时刻(ke)」了吗？

换句(ju)话说就是，在强化学习过程(cheng)中，模型的推理能力是否(fou)会发生显著(zhu)的飞跃，出(chu)现多步验证或反(fan)思，而且这些行(xing)为(wei)不是在训(xun)练语料中明确植入的，而是模型与RL环境(jing)的互动(dong)所自然产生的？

研究人员发现，模型并没有出(chu)现「等一下，等一下」这样特定的语言表述，但图4显示出(chu)，它在第(di)10步时表现出(chu)了一些复杂的推理行(xing)为(wei)（例如自我反(fan)思、探索、验证、总(zong)结）。

由此，研究人员的结论是，RL学习过程(cheng)可能没有突如其来的「顿悟时刻(ke)」——复杂的推理行(xing)为(wei)并不是在某个特定的训(xun)练步骤中突然出(chu)现的。

1. 反(fan)思性词(ci)汇（如「检查」和(he)「验证」）的频率(lu)缓慢增加（a）-（c）；2. 会话性短语（例如「让我们」）和(he)谨慎词(ci)汇（例如「还」）变得(de)更(geng)加频繁（d）-（e）；3. 中文词(ci)汇开始出(chu)现在英文回复中（f）。所有这些词(ci)汇的频率(lu)都在稳步发展，没有突然的跳(tiao)跃，表明可能不存在明显的「顿悟时刻(ke)」

除了上述技术贡献外，研究还有几个有趣的发现：

• 更(geng)长的回答并不能保证更(geng)好的推理。长度(du)本身不是评估训(xun)练时间的有效指标。最有效的推理来自最短路径。

• 语言混合会阻碍推理。这一观察强调了在奖励建模中需要语言一致性惩罚。

• 增加「思考」token确实有帮助(zhu)。RL训(xun)练自然地提高了与反(fan)思相关词(ci)汇的频率(lu)，表明某些token频率(lu)与性能之(zhi)间存在相关性。

• 监督微调（SFT）依赖(lai)记忆；RL实现泛化。SFT严重依赖(lai)记忆，往往导(dao)致表面的捷径学习，而RL则在最小依赖(lai)数据(ju)集结构的情况下自我演化。

• 冷启动(dong)是一个优势，但非必需。无论是从基础模型还是指令模型开始，训(xun)练动(dong)态都保持惊(jing)人的相似性，尽管(guan)后者表现略好。

• 课程(cheng)学习仍然重要。在固定的数据(ju)筛选比例下，精心设计的课程(cheng)学习方法总(zong)是优于随机打(da)乱。

更(geng)长的回答并不能保证更(geng)好的推理。长度(du)本身不是评估训(xun)练时间的有效指标。最有效的推理来自最短路径。

语言混合会阻碍推理。这一观察强调了在奖励建模中需要语言一致性惩罚。

增加「思考」token确实有帮助(zhu)。RL训(xun)练自然地提高了与反(fan)思相关词(ci)汇的频率(lu)，表明某些token频率(lu)与性能之(zhi)间存在相关性。

监督微调（SFT）依赖(lai)记忆；RL实现泛化。SFT严重依赖(lai)记忆，往往导(dao)致表面的捷径学习，而RL则在最小依赖(lai)数据(ju)集结构的情况下自我演化。

冷启动(dong)是一个优势，但非必需。无论是从基础模型还是指令模型开始，训(xun)练动(dong)态都保持惊(jing)人的相似性，尽管(guan)后者表现略好。

课程(cheng)学习仍然重要。在固定的数据(ju)筛选比例下，精心设计的课程(cheng)学习方法总(zong)是优于随机打(da)乱。

本文来源：，原文标题：《10美元成功复现DeepSeek顿悟时刻(ke)，3B模型爆发超强推理！微软论文实锤涌现》