因此，Raz选择从非常简单的RL算法——Reinforce-Lite入手。

采用轻量(liang)级强化学习(xi)算法——Reinforce-Lite生成的推(tui)理过程之一。我(wo)们将一步步看到，端到端的强化学习(xi)微调模型如何表现出智能、回溯、自我(wo)反思、逻辑推(tui)理等迹象

结果，令人出乎意料的事(shi)情发生了：只用不到10美元(yuan)的成本(ben)，他就在一个3B模型上复(fu)刻了DeepSeek的顿悟(wu)时刻。

几乎就像是这个3B模型本(ben)身就具(ju)备了做出惊人事(shi)情的潜力，我(wo)们需(xu)要的，只是通过正确(que)的方式赋予它一定的自主性而已。

接下来，让我(wo)们看一下Raz的博客，感(gan)受一下这次超经(jing)济实惠的AI推(tui)理，是怎样突破的。

复(fu)刻DeepSeek顿悟(wu)时刻，只用不到10美元(yuan)

我(wo)们能否在计算资源有限（只有48GB RTX6000显卡和(he)10美元(yuan)）的情况下，让一个3B模型具(ju)备回溯、自我(wo)反思、逻辑推(tui)理等推(tui)理能力？

研究人员猜测，通过强化学习(xi)也(ye)许能做到。

强化学习(xi)是最强大的学习(xi)算法之一，它一次又一次地为我(wo)们带来令人惊叹的成果。

DeepMind的AlphaGo、OpenAI的DOTA 2、MuJoCo和(he)Atari实验、LLM的RLHF对(dui)齐，以及最近DeepSeek全面布(bu)局的RL技术，无(wu)比证(zheng)明它的强大威(wei)力。

然而，由于RL有许多动态部分，一涉及到众多组件(jian)，强化学习(xi)就变得(de)复(fu)杂了。

在此过程中，强化学习(xi)需(xu)要精心设(she)计重要元(yuan)素，如合适的信用分配(pei)机制、演(yan)员-评论员的适当超参数调整、强化学习(xi)算法类型（基于模型/无(wu)模型）等，这就导致了强化学习(xi)在更广(guang)泛的范围内应用受限。

如果在LLM环(huan)境中使用强化学习(xi)，可能涉及的模型可以多达5个：

1. 策略模型：正在训(xun)练的模型
2. 旧策略模型：用于计算替代目标
3. 参考模型：用于计算KL散度(du)（KL-divergence）
4. 奖励模型：用于学习(xi)奖励函数
5. 评判模型：用于计算价值函数

Reinforce-Lite：一个比PPO更简单、更稳定且更高(gao)效(xiao)的微调方案

3B模型端到端强化学习(xi)训(xun)练的计算需(xu)求

由于涉及众多组件(jian)，不仅带来了计算负担，还带来了训(xun)练稳定性方面的复(fu)杂性和(he)挑战。

因此，研究人员开始思考：能否从零开始重新(xin)构想整个算法，回归(gui)第(di)一性原理？

他们的答案就是——一个简单的替代方案，Reinforce-Lite。

这种方法消除了对(dui)替代目标比率和(he)旧策略模型的需(xu)求，通过单一策略神(shen)经(jing)网(wang)络来稳定训(xun)练过程，同时，还能为模型注入推(tui)理能力。

为此，我(wo)们需(xu)要理解的第(di)一个问(wen)题就是——

使用替代目标比率（如PPO/GRPO）是过度(du)优(you)化？

OpenAI vs DOTA 5v5：基于大规(gui)模强化学习(xi)训(xun)练

在MuJoCo、Atari、Dota等传统强化学习(xi)环(huan)境中，PPO对(dui)每个批次进行多次更新(xin)是至关重要的，这是因为在这些环(huan)境中数据收集成本(ben)非常高(gao)昂，而重复(fu)使用样本(ben)可以提高(gao)样本(ben)效(xiao)率。

然而在LLM中，这种方法既无(wu)必要，又会带来巨大的计算开销。

LLM可以并行生成多样化的响应，自然形成丰富的数据集，因此就无(wu)需(xu)重复(fu)更新(xin)。

所有响应都可以使用相(xiang)同的策略网(wang)络生成，一旦在序列生成结束时获得(de)奖励，就可以进行梯度(du)反向传播。

此外，在文本(ben)生成这样的高(gao)维动作空间中，每个batch多次更新(xin)可能导致过拟合，而非有意义的策略改进。

相(xiang)反，如果每个batch单次更新(xin)，再结合分组归(gui)一化等技术，就可以在显著降低计算成本(ben)的同时，保持训(xun)练稳定性。

考虑到LLM训(xun)练本(ben)身就需(xu)要大量(liang)资源，在不影(ying)响性能的前提下简化优(you)化过程，显然是更有效(xiao)的选择。

从技术角度(du)来看，这也(ye)消除了为计算替代目标比率而保留旧策略模型的需(xu)求。

LLM强化学习(xi)与经(jing)典强化学习(xi)的区别

总之，在这个算法中——

1. 移除KL散度(du)，不需(xu)要参考模型 ❌ ——改用梯度(du)裁剪。虽然不是自适应的方法，但能有效(xiao)完成任务。

2. 移除替代目标，不需(xu)要旧策略模型 ❌

3. 使用分组相(xiang)对(dui)奖励进行优(you)势计算（类似DeepSeek的GRPO方式），不需(xu)要价值网(wang)络 ❌

移除KL散度(du)，不需(xu)要参考模型 ❌ ——改用梯度(du)裁剪。虽然不是自适应的方法，但能有效(xiao)完成任务。

移除替代目标，不需(xu)要旧策略模型 ❌

使用分组相(xiang)对(dui)奖励进行优(you)势计算（类似DeepSeek的GRPO方式），不需(xu)要价值网(wang)络 ❌

这样，我(wo)们就得(de)到了一个轻量(liang)级的强化学习(xi)算法。

通过以上简化，优(you)化问(wen)题最终就回归(gui)为经(jing)典的Reinforce算法——

Reinforce-Lite

在优(you)势计算方面，研究人员采用分组相(xiang)对(dui)策略优(you)化（GRPO）的归(gui)一化技术，将每个问(wen)题的10个回应结果作为一组，并通过其归(gui)一化方法来降低梯度(du)更新(xin)中的方差。

让我(wo)们来看看它在PyTorch中的具(ju)体实现。

1. 初始化一个经(jing)过指令微调的LLM，并通过合适的提示词(ci)使其在 标签中包含推(tui)理步骤(zhou)。

2. 为模型输出定义一个奖励函数（例如，在GSM8K基准中的正确(que)率）。通过正则(ze)表达式从标签中提取数值，并与数据集中的实际答案进行比较。

3. 通过直接计算相(xiang)对(dui)于奖励的梯度(du)来优(you)化策略，无(wu)需(xu)使用替代损失(shi)函数。

4. 采用分组相(xiang)对(dui)归(gui)一化优(you)势计算值，从而消除对(dui)批评模型的依赖。采用10作为分组大小。

5. 使用标准的对(dui)数概率梯度(du)技巧(qiao)对(dui)模型进行更新(xin)。

初始化一个经(jing)过指令微调的LLM，并通过合适的提示词(ci)使其在 标签中包含推(tui)理步骤(zhou)。

为模型输出定义一个奖励函数（例如，在GSM8K基准中的正确(que)率）。通过正则(ze)表达式从标签中提取数值，并与数据集中的实际答案进行比较。

通过直接计算相(xiang)对(dui)于奖励的梯度(du)来优(you)化策略，无(wu)需(xu)使用替代损失(shi)函数。

采用分组相(xiang)对(dui)归(gui)一化优(you)势计算值，从而消除对(dui)批评模型的依赖。采用10作为分组大小。

使用标准的对(dui)数概率梯度(du)技巧(qiao)对(dui)模型进行更新(xin)。

GSM8K 数据集

为了验证(zheng)自己的假设(she)，研究人员将使用GSM8K，这是一个包含小学数学问(wen)题及其答案的Grade School Math 8K数据集，格式如下：

问(wen)题：Natalia在4月份(fen)向她的48个朋友卖出了发夹(jia)，而在5月份(fen)她售卖的发夹(jia)数量(liang)是4月份(fen)的一半。Natalia在4月和(he)5月总共售卖了多少个发夹(jia)？

Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?

答案：Natalia在5月售卖了48/2 = <<48/2=24>>24个发夹(jia)。Natalia在4月和(he)5月总共售卖了48+24 = <<48+24=72>>72个发夹(jia)。#### 72

Natalia sold 48/2 = <<48/2=24>>24 clips in May. Natalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May. #### 72

虽然答案中就包含了完整的推(tui)理步骤(zhou)，但让研究人员感(gan)兴趣的，只有###后的最终答案。

对(dui)此，研究人员引导策略模型，以格式输出了最终答案，并用它来验证(zheng)模型计算的答案是否正确(que)。

这更像是一个蒙特卡洛问(wen)题——在每个回合结束时，才能获得(de)奖励。

奖励建模

研究人员把奖励机制设(she)计得(de)很简单易(yi)懂，对(dui)于策略模型：

• 答案错误时，给(gei)予负奖励-1

• 答案正确(que)时，给(gei)予正奖励+1

答案正确(que)时，给(gei)予正奖励+1

训(xun)练设(she)置

接下来，研究人员使用Reinforce-Lite算法，在RTX A6000显卡上训(xun)练了3B模型，训(xun)练时间为12小时，并采用大小为10的分组。

在训(xun)练初期，可以观察到：模型不断尝试增加输出序列/输出token的长(chang)度(du)，但会经(jing)常遇到内存溢出（OOM）问(wen)题，这就限制了模型尝试更长(chang)的推(tui)理过程，并从中有效(xiao)学习(xi)。

奖励图表展示的是分组响应的平均得(de)分。理想情况下，平均值越(yue)接近1，表示模型在大多数采样响应中的准确(que)率越(yue)高(gao)。

在这次实验中，研究人员只训(xun)练了数百次迭代，可以观察到当策略模型尝试不同策略时，得(de)分会出现一定波动。

这种波动可以通过熵正则(ze)化来平衡探索与利用之间的关系，这是他们未来探索的一个方向。

对(dui)比测试Reinforce-Lite和(he)Instruct模型

研究在GSM8K数据集上评估了Reinforce-Lite，发现在有限训(xun)练时间内，Reinforce-Lite相(xiang)比指令模型在得(de)分上实现了小幅提升。

具(ju)体来说(shuo)，Meta Llama 3.2模型提升了2.0％（从70.5提升至72.5），而在FP16格式下运行的Phi 3.5 Instruct则(ze)提升了0.6％（从83.4提升至84.0）。

推(tui)理轨(gui)迹分析(xi)观察一些推(tui)理轨(gui)迹后可以发现，经(jing)过Reinforce-Lite微调的模型展现出了多种推(tui)理能力，包括(kuo)：

• 逻辑思维
• 搜索策略
• 结果验证(zheng)
• 通过表格进行中间计算
• 试错方法等

注意！这些推(tui)理轨(gui)迹，在常规(gui)的指令模型中均未观察到。

比如在下图中，模型展现出了基本(ben)的数学推(tui)理能力。它能够通过代数表达式设(she)立问(wen)题，并通过解方程来求解。

过程中，它能识别出不合理的解，在原方案不可行时选择调整解决方案，最终还能通过比较不同选择的成本(ben)，来做出最优(you)决策。

在这道题中，模型表现出的处理包含条件(jian)推(tui)理和(he)纠错的能力，也(ye)令人印(yin)象深刻。

它首先设(she)定了问(wen)题背景，计算派对(dui)开始时的总人数。然后根据已知条件(jian)（总共40人，1/4人离开），计算出有10人离开派对(dui)。

然而，在计算离开的女性人数时，模型居然得(de)出了一个负数，它意识到了自己的推(tui)理中，一定出现了逻辑错误。

为此，它重新(xin)审视(shi)了情况，修正了自己的推(tui)理，正确(que)计算出派对(dui)上剩下了8名(ming)女性，从而得(de)出正确(que)答案。

这道题中，模型设(she)定初始绷带数量(liang)为x，根据给(gei)定条件(jian)将绷带数量(liang)的变化转换为代数方程，但解出的方程结果是x=-6。

它意识到自己的错误后，回顾了之前的步骤(zhou)，识别出自己在计算第(di)三天的绷带使用量(liang)时犯了错。修正方程后，它重新(xin)计算出了正确(que)结果。

整个过程中，它展现出了较强的自我(wo)纠错和(he)逻辑推(tui)理能力，能在复(fu)杂计算过程中发现并修正问(wen)题。

关键要点总结

总结来说(shuo)，这项(xiang)研究主要有以下发现。

1. 结构化推(tui)理能力提升

   从生成的序列中可以观察到，经(jing)过RL微调的模型在评估得(de)分上实现了小幅提升。

2. 简化算法复(fu)杂度(du)，无(wu)需(xu)PPO的复(fu)杂性

   研究表明，对(dui)LLM进行微调只需(xu)要一个策略网(wang)络即可，无(wu)需(xu)采用PPO的复(fu)杂机制。

3. 优(you)化计算效(xiao)率

   Reinforce-Lite作为一个计算友好型算法，支持端到端的RL训(xun)练，同时显著降低了训(xun)练复(fu)杂度(du)。

4. 增强模型自主性

   算法成功地赋予了LLM自主能力，让模型会通过尝试不同策略来获取奖励。

5. 更长(chang)的推(tui)理回合，需(xu)要更多内存

   随着训(xun)练的进行，可以发现模型倾向于进行更长(chang)的推(tui)理过程，但在使用48GB GPU训(xun)练3GB模型（FP16）时，如果超过1024个token，就会频繁(fan)出现内存溢出问(wen)题。

6. 在没有KL散度(du)的情况下确(que)保稳定性

   研究人员发现，使用简单的梯度(du)裁剪就能有效(xiao)替代KL散度(du)计算，这是一种高(gao)效(xiao)的替代方案，用于防止策略偏离。在整个训(xun)练过程中，模型策略保持稳定，未出现剧(ju)烈(lie)波动。

从生成的序列中可以观察到，经(jing)过RL微调的模型在评估得(de)分上实现了小幅提升。

研究表明，对(dui)LLM进行微调只需(xu)要一个策略网(wang)络即可，无(wu)需(xu)采用PPO的复(fu)杂机制。

Reinforce-Lite作为一个计算友好型算法，支持端到端的RL训(xun)练，同时显著降低了训(xun)练复(fu)杂度(du)。

算法成功地赋予了LLM自主能力，让模型会通过尝试不同策略来获取奖励。

随着训(xun)练的进行，可以发现模型倾向于进行更长(chang)的推(tui)理过程，但在使用48GB GPU训(xun)练3GB模型（FP16）时，如果超过1024个token，就会频繁(fan)出现内存溢出问(wen)题。

研究人员发现，使用简单的梯度(du)裁剪就能有效(xiao)替代KL散度(du)计算，这是一种高(gao)效(xiao)的替代方案，用于防止策略偏离。在整个训(xun)练过程中，模型策略保持稳定，未出现剧(ju)烈(lie)波动。

巧(qiao)的是，最近来自微软亚(ya)洲研究院的一项(xiang)工作，也(ye)证(zheng)明了RL的巨大潜力——通过有效(xiao)且稳定的RL训(xun)练后，一个7B模型，居然就发展出了反思、验证(zheng)和(he)总结的高(gao)级推(tui)理技能！

而这些技能，在逻辑语(yu)料库(ku)中是完全缺(que)失(shi)的。

受DeepSeek-R1成功的启发，研究团队探索了基于规(gui)则(ze)的强化学习(xi)（RL）在大规(gui)模推(tui)理模型中的潜力。

为了分析(xi)推(tui)理机制，他们选择了具(ju)有可控复(fu)杂度(du)和(he)直接答案验证(zheng)方式的「合成逻辑谜题」作为训(xun)练数据。 在此过程中，团队取得(de)了一些关键性的技术突破，并促成了有效(xiao)且稳定的RL训(xun)练：

• 一个着重强调思考和(he)回答过程的system prompt
• 一个用于惩罚取巧(qiao)输出的严格格式奖励函数

• 一个能实现稳定收敛的简单训(xun)练方案

一个能实现稳定收敛的简单训(xun)练方案

其中，训(xun)练框架采用REINFORCE++算法和(he)来自DeepSeek-R1的奖励设(she)计进行后训(xun)练。

随着RL训(xun)练的进行，可以观察到模型自然地分配(pei)更多的训(xun)练步骤(zhou)用于推(tui)理。这种计算扩展从生成数百个token扩展到数千个token，使其能够更深入地探索和(he)完善其思维过程。

结果显示，只有70亿参数的Qwen2.5-7B，在经(jing)过5K个逻辑问(wen)题的训(xun)练后，就发展出了一些在逻辑语(yu)料库(ku)中原本(ben)不存在的高(gao)级推(tui)理技能——如反思、验证(zheng)和(he)总结能力。

研究中，考验模型的这道逻辑题是这样的。

问(wen)题：一个非常特殊的岛(dao)屿(yu)上只住着骑士和(he)骗子。骑士总是说(shuo)真话，骗子总是说(shuo)谎。你遇到两(liang)位岛(dao)民：Zoey和(he)Oliver。Zoey说(shuo)：「Oliver不是骑士。」Oliver说(shuo)：「Oliver是骑士且Zoey是骗子。」请问(wen)，谁是骑士，谁是骗子？

正确(que)答案：（1）Zoey是骗子；（2）Oliver是骑士。

这个「骑士与骗子」谜题，因其合成设(she)计和(he)逻辑精确(que)性而非常适合进一步分析(xi)。

首先，谜题对(dui)于模型来说(shuo)都是未见过大数据，非常适合用来测试泛化能力。

其次，通过改变字符数量(liang)（2到8个）和(he)逻辑运算的复(fu)杂性（1到4种布(bu)尔(er)运算符组合），可以调节难度(du)。

而且，每个谜题都有一个单一、明确(que)的正确(que)答案，正确(que)性由生成算法保证(zheng)。解答需(xu)要严格的演(yan)绎推(tui)理，因此减少了奖励作弊的风险。

总之，每个谜题都遵循正式规(gui)则(ze)构建，能确(que)保每个问(wen)题都有一个独特的解决方案，并可以确(que)定性地验证(zheng)。这消除了自然语(yu)言任务中常见的模糊性，使我(wo)们能够清晰地区分真正的推(tui)理能力和(he)表面上的记(ji)忆。

在奖励建模中，研究在模型输出中不断检测作弊行为，并不断改进奖励设(she)计。

最终，他们设(she)计出了一种几乎无(wu)法作弊的基于规(gui)则(ze)的奖励系统，仅包含两(liang)种奖励类型：格式奖励和(he)答案奖励。

以下就是不同的推(tui)理模型和(he)通用模型在不同难度(du)的K&K逻辑谜题上的表现。

在RL训(xun)练后，可以在模型中观察到以下涌现的行为。

1. 会出现犹豫和(he)自我(wo)验证(zheng)

在思考环(huan)节，模型会不时使用「我(wo)不是完全确(que)定，让我(wo)们重新(xin)检查这一步」这类反思性表达。

这种自我(wo)审视(shi)的行为特征(zheng)在预训(xun)练阶段是完全不存在的，而是通过奖励正确(que)答案、惩罚错误答案的强化学习(xi)机制逐步培养形成的。

2. 多轮径探索和(he)回溯

经(jing)过RL训(xun)练后，模型会主动提出多个解决方案（「让我(wo)们测试两(liang)种可能性」），并通过回溯来检查解决方案的一致性。

3. 应用公式

尽管(guan)训(xun)练数据集中并未包含，但模型不仅能够通过系统性试错方法解决谜题，还自主整合了形式逻辑推(tui)理能力（比如运用「如果P，则(ze)Q」的逻辑蕴含公式），这种推(tui)理模式与人类的问(wen)题解决方式高(gao)度(du)相(xiang)似。

4.忽然开始说(shuo)中文

模型在分析(xi)问(wen)题陈述时会临时插入中文表达，随后又能自然地转换为英语(yu)来提供解决方案。

这一现象表明，模型正在使用语(yu)言混合机制作为一种潜在的备选处理策略，或是形成了某种特殊的内部表征(zheng)模式。

在具(ju)有挑战性的数学基准测试AIME和(he)AMC上，模型展现出了卓越(yue)的泛化能力——成绩分别提高(gao)了125%和(he)38%。

这种跨领域泛化能力表明，RL训(xun)练的推(tui)理启发式方法发展出了抽象的问(wen)题解决模式，而不是依赖于特定领域的模式匹配(pei)。

所以，这项(xiang)研究的训(xun)练期间，也(ye)出现「顿悟(wu)时刻」了吗？

换句话说(shuo)就是，在强化学习(xi)过程中，模型的推(tui)理能力是否会发生显著的飞跃，出现多步验证(zheng)或反思，而且这些行为不是在训(xun)练语(yu)料中明确(que)植入的，而是模型与RL环(huan)境的互动所自然产生的？

研究人员发现，模型并没有出现「等一下，等一下」这样特定的语(yu)言表述，但图4显示出，它在第(di)10步时表现出了一些复(fu)杂的推(tui)理行为（例如自我(wo)反思、探索、验证(zheng)、总结）。

由此，研究人员的结论是，RL学习(xi)过程可能没有突如其来的「顿悟(wu)时刻」——复(fu)杂的推(tui)理行为并不是在某个特定的训(xun)练步骤(zhou)中突然出现的。

1. 反思性词(ci)汇（如「检查」和(he)「验证(zheng)」）的频率缓慢增加（a）-（c）；2. 会话性短语(yu)（例如「让我(wo)们」）和(he)谨慎词(ci)汇（例如「还」）变得(de)更加频繁(fan)（d）-（e）；3. 中文词(ci)汇开始出现在英文回复(fu)中（f）。所有这些词(ci)汇的频率都在稳步发展，没有突然的跳跃，表明可能不存在明显的「顿悟(wu)时刻」

除了上述技术贡献外，研究还有几个有趣的发现：

• 更长(chang)的回答并不能保证(zheng)更好的推(tui)理。长(chang)度(du)本(ben)身不是评估训(xun)练时间的有效(xiao)指标。最有效(xiao)的推(tui)理来自最短路径。

• 语(yu)言混合会阻碍推(tui)理。这一观察强调了在奖励建模中需(xu)要语(yu)言一致性惩罚。

• 增加「思考」token确(que)实有帮助。RL训(xun)练自然地提高(gao)了与反思相(xiang)关词(ci)汇的频率，表明某些token频率与性能之间存在相(xiang)关性。

• 监督微调（SFT）依赖记(ji)忆；RL实现泛化。SFT严重依赖记(ji)忆，往往导致表面的捷径学习(xi)，而RL则(ze)在最小依赖数据集结构的情况下自我(wo)演(yan)化。

• 冷启动是一个优(you)势，但非必需(xu)。无(wu)论是从基础模型还是指令模型开始，训(xun)练动态都保持惊人的相(xiang)似性，尽管(guan)后者表现略好。

• 课程学习(xi)仍然重要。在固定的数据筛选比例下，精心设(she)计的课程学习(xi)方法总是优(you)于随机打乱。

更长(chang)的回答并不能保证(zheng)更好的推(tui)理。长(chang)度(du)本(ben)身不是评估训(xun)练时间的有效(xiao)指标。最有效(xiao)的推(tui)理来自最短路径。

语(yu)言混合会阻碍推(tui)理。这一观察强调了在奖励建模中需(xu)要语(yu)言一致性惩罚。

增加「思考」token确(que)实有帮助。RL训(xun)练自然地提高(gao)了与反思相(xiang)关词(ci)汇的频率，表明某些token频率与性能之间存在相(xiang)关性。

监督微调（SFT）依赖记(ji)忆；RL实现泛化。SFT严重依赖记(ji)忆，往往导致表面的捷径学习(xi)，而RL则(ze)在最小依赖数据集结构的情况下自我(wo)演(yan)化。

冷启动是一个优(you)势，但非必需(xu)。无(wu)论是从基础模型还是指令模型开始，训(xun)练动态都保持惊人的相(xiang)似性，尽管(guan)后者表现略好。

课程学习(xi)仍然重要。在固定的数据筛选比例下，精心设(she)计的课程学习(xi)方法总是优(you)于随机打乱。

本(ben)文来源：，原文标题：《10美元(yuan)成功复(fu)现DeepSeek顿悟(wu)时刻，3B模型爆发超强推(tui)理！微软论文实锤涌现》