因此，Raz选择从非常(chang)简单的(de)RL算法——Reinforce-Lite入手。

采用轻量级强化学习(xi)算法——Reinforce-Lite生成的(de)推理过程之(zhi)一。我们将一步步看到，端到端的(de)强化学习(xi)微调模型如何表现出智能、回溯(su)、自(zi)我反思、逻(luo)辑推理等迹象

结果，令人出乎意料的(de)事情发生了：只用不到10美元的(de)成本，他就在一个3B模型上复刻了DeepSeek的(de)顿(dun)悟时刻。

几乎就像是这个3B模型本身就具备了做出惊人事情的(de)潜力，我们需要的(de)，只是通过正确的(de)方式(shi)赋(fu)予它一定的(de)自(zi)主性而已(yi)。

接(jie)下来，让我们看一下Raz的(de)博客，感受一下这次超经济实(shi)惠的(de)AI推理，是怎样突破的(de)。

复刻DeepSeek顿(dun)悟时刻，只用不到10美元

我们能否在计算资源有(you)限（只有(you)48GB RTX6000显卡和10美元）的(de)情况下，让一个3B模型具备回溯(su)、自(zi)我反思、逻(luo)辑推理等推理能力？

研究人员猜测，通过强化学习(xi)也许(xu)能做到。

强化学习(xi)是最(zui)强大的(de)学习(xi)算法之(zhi)一，它一次又一次地为我们带来令人惊叹的(de)成果。

DeepMind的(de)AlphaGo、OpenAI的(de)DOTA 2、MuJoCo和Atari实(shi)验、LLM的(de)RLHF对(dui)齐，以及最(zui)近DeepSeek全(quan)面布局的(de)RL技术，无比证明(ming)它的(de)强大威力。

然而，由于RL有(you)许(xu)多动态部分，一涉及到众多组件，强化学习(xi)就变得(de)复杂了。

在此过程中，强化学习(xi)需要精心设计重要元素，如合适的(de)信用分配机制、演员-评论员的(de)适当超参数调整、强化学习(xi)算法类型（基于模型/无模型）等，这就导致了强化学习(xi)在更广泛的(de)范围内应用受限。

如果在LLM环境中使用强化学习(xi)，可能涉及的(de)模型可以多达5个：

1. 策略模型：正在训练的(de)模型
2. 旧(jiu)策略模型：用于计算替代目标
3. 参考模型：用于计算KL散度（KL-divergence）
4. 奖励模型：用于学习(xi)奖励函数
5. 评判(pan)模型：用于计算价值函数

Reinforce-Lite：一个比PPO更简单、更稳定且更高效的(de)微调方案

3B模型端到端强化学习(xi)训练的(de)计算需求

由于涉及众多组件，不仅带来了计算负担，还(hai)带来了训练稳定性方面的(de)复杂性和挑战。

因此，研究人员开始思考：能否从零开始重新构(gou)想整个算法，回归第一性原理？

他们的(de)答案就是——一个简单的(de)替代方案，Reinforce-Lite。

这种方法消除了对(dui)替代目标比率(lu)和旧(jiu)策略模型的(de)需求，通过单一策略神经网络来稳定训练过程，同时，还(hai)能为模型注入推理能力。

为此，我们需要理解的(de)第一个问题就是——

使用替代目标比率(lu)（如PPO/GRPO）是过度优化？

OpenAI vs DOTA 5v5：基于大规模强化学习(xi)训练

在MuJoCo、Atari、Dota等传统强化学习(xi)环境中，PPO对(dui)每个批次进(jin)行多次更新是至关重要的(de)，这是因为在这些环境中数据收(shou)集成本非常(chang)高昂，而重复使用样本可以提高样本效率(lu)。

然而在LLM中，这种方法既无必要，又会带来巨大的(de)计算开销。

LLM可以并行生成多样化的(de)响应，自(zi)然形成丰(feng)富的(de)数据集，因此就无需重复更新。

所有(you)响应都可以使用相同的(de)策略网络生成，一旦在序列生成结束时获得(de)奖励，就可以进(jin)行梯度反向传播。

此外，在文(wen)本生成这样的(de)高维动作空间中，每个batch多次更新可能导致过拟合，而非有(you)意义的(de)策略改进(jin)。

相反，如果每个batch单次更新，再结合分组归一化等技术，就可以在显著降(jiang)低计算成本的(de)同时，保持训练稳定性。

考虑(lu)到LLM训练本身就需要大量资源，在不影响性能的(de)前提下简化优化过程，显然是更有(you)效的(de)选择。

从技术角度来看，这也消除了为计算替代目标比率(lu)而保留旧(jiu)策略模型的(de)需求。

LLM强化学习(xi)与经典强化学习(xi)的(de)区别

总之(zhi)，在这个算法中——

1. 移除KL散度，不需要参考模型 ❌ ——改用梯度裁剪。虽然不是自(zi)适应的(de)方法，但能有(you)效完成任务。

2. 移除替代目标，不需要旧(jiu)策略模型 ❌

3. 使用分组相对(dui)奖励进(jin)行优势计算（类似(si)DeepSeek的(de)GRPO方式(shi)），不需要价值网络 ❌

移除KL散度，不需要参考模型 ❌ ——改用梯度裁剪。虽然不是自(zi)适应的(de)方法，但能有(you)效完成任务。

移除替代目标，不需要旧(jiu)策略模型 ❌

使用分组相对(dui)奖励进(jin)行优势计算（类似(si)DeepSeek的(de)GRPO方式(shi)），不需要价值网络 ❌

这样，我们就得(de)到了一个轻量级的(de)强化学习(xi)算法。

通过以上简化，优化问题最(zui)终(zhong)就回归为经典的(de)Reinforce算法——

Reinforce-Lite

在优势计算方面，研究人员采用分组相对(dui)策略优化（GRPO）的(de)归一化技术，将每个问题的(de)10个回应结果作为一组，并通过其归一化方法来降(jiang)低梯度更新中的(de)方差。

让我们来看看它在PyTorch中的(de)具体实(shi)现。

1. 初始化一个经过指令微调的(de)LLM，并通过合适的(de)提示词(ci)使其在 标签中包(bao)含(han)推理步骤。

2. 为模型输出定义一个奖励函数（例如，在GSM8K基准中的(de)正确率(lu)）。通过正则(ze)表达式(shi)从标签中提取数值，并与数据集中的(de)实(shi)际答案进(jin)行比较。

3. 通过直接(jie)计算相对(dui)于奖励的(de)梯度来优化策略，无需使用替代损失函数。

4. 采用分组相对(dui)归一化优势计算值，从而消除对(dui)批评模型的(de)依赖。采用10作为分组大小。

5. 使用标准的(de)对(dui)数概率(lu)梯度技巧对(dui)模型进(jin)行更新。

初始化一个经过指令微调的(de)LLM，并通过合适的(de)提示词(ci)使其在 标签中包(bao)含(han)推理步骤。

为模型输出定义一个奖励函数（例如，在GSM8K基准中的(de)正确率(lu)）。通过正则(ze)表达式(shi)从标签中提取数值，并与数据集中的(de)实(shi)际答案进(jin)行比较。

通过直接(jie)计算相对(dui)于奖励的(de)梯度来优化策略，无需使用替代损失函数。

采用分组相对(dui)归一化优势计算值，从而消除对(dui)批评模型的(de)依赖。采用10作为分组大小。

使用标准的(de)对(dui)数概率(lu)梯度技巧对(dui)模型进(jin)行更新。

GSM8K 数据集

为了验证自(zi)己的(de)假设，研究人员将使用GSM8K，这是一个包(bao)含(han)小学数学问题及其答案的(de)Grade School Math 8K数据集，格式(shi)如下：

问题：Natalia在4月份向她的(de)48个朋友卖出了发夹，而在5月份她售卖的(de)发夹数量是4月份的(de)一半。Natalia在4月和5月总共售卖了多少个发夹？

Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?

答案：Natalia在5月售卖了48/2 = <<48/2=24>>24个发夹。Natalia在4月和5月总共售卖了48+24 = <<48+24=72>>72个发夹。#### 72

Natalia sold 48/2 = <<48/2=24>>24 clips in May. Natalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May. #### 72

虽然答案中就包(bao)含(han)了完整的(de)推理步骤，但让研究人员感兴趣的(de)，只有(you)###后的(de)最(zui)终(zhong)答案。

对(dui)此，研究人员引导策略模型，以格式(shi)输出了最(zui)终(zhong)答案，并用它来验证模型计算的(de)答案是否正确。

这更像是一个蒙特卡洛问题——在每个回合结束时，才能获得(de)奖励。

奖励建模

研究人员把奖励机制设计得(de)很简单易懂，对(dui)于策略模型：

• 答案错误时，给予负奖励-1

• 答案正确时，给予正奖励+1

答案正确时，给予正奖励+1

训练设置

接(jie)下来，研究人员使用Reinforce-Lite算法，在RTX A6000显卡上训练了3B模型，训练时间为12小时，并采用大小为10的(de)分组。

在训练初期，可以观察到：模型不断尝试增加输出序列/输出token的(de)长度，但会经常(chang)遇到内存溢出（OOM）问题，这就限制了模型尝试更长的(de)推理过程，并从中有(you)效学习(xi)。

奖励图表展示的(de)是分组响应的(de)平均得(de)分。理想情况下，平均值越接(jie)近1，表示模型在大多数采样响应中的(de)准确率(lu)越高。

在这次实(shi)验中，研究人员只训练了数百次迭代，可以观察到当策略模型尝试不同策略时，得(de)分会出现一定波动。

这种波动可以通过熵(shang)正则(ze)化来平衡探索与利用之(zhi)间的(de)关系，这是他们未来探索的(de)一个方向。

对(dui)比测试Reinforce-Lite和Instruct模型

研究在GSM8K数据集上评估了Reinforce-Lite，发现在有(you)限训练时间内，Reinforce-Lite相比指令模型在得(de)分上实(shi)现了小幅提升。

具体来说，Meta Llama 3.2模型提升了2.0％（从70.5提升至72.5），而在FP16格式(shi)下运行的(de)Phi 3.5 Instruct则(ze)提升了0.6％（从83.4提升至84.0）。

推理轨迹分析观察一些推理轨迹后可以发现，经过Reinforce-Lite微调的(de)模型展现出了多种推理能力，包(bao)括：

• 逻(luo)辑思维
• 搜索策略
• 结果验证
• 通过表格进(jin)行中间计算
• 试错方法等

注意！这些推理轨迹，在常(chang)规的(de)指令模型中均未观察到。

比如在下图中，模型展现出了基本的(de)数学推理能力。它能够通过代数表达式(shi)设立问题，并通过解方程来求解。

过程中，它能识别出不合理的(de)解，在原方案不可行时选择调整解决方案，最(zui)终(zhong)还(hai)能通过比较不同选择的(de)成本，来做出最(zui)优决策。

在这道题中，模型表现出的(de)处理包(bao)含(han)条件推理和纠(jiu)错的(de)能力，也令人印象深刻。

它首先设定了问题背景，计算派对(dui)开始时的(de)总人数。然后根据已(yi)知条件（总共40人，1/4人离开），计算出有(you)10人离开派对(dui)。

然而，在计算离开的(de)女性人数时，模型居然得(de)出了一个负数，它意识到了自(zi)己的(de)推理中，一定出现了逻(luo)辑错误。

为此，它重新审视了情况，修正了自(zi)己的(de)推理，正确计算出派对(dui)上剩下了8名女性，从而得(de)出正确答案。

这道题中，模型设定初始绷带数量为x，根据给定条件将绷带数量的(de)变化转换为代数方程，但解出的(de)方程结果是x=-6。

它意识到自(zi)己的(de)错误后，回顾了之(zhi)前的(de)步骤，识别出自(zi)己在计算第三天的(de)绷带使用量时犯了错。修正方程后，它重新计算出了正确结果。

整个过程中，它展现出了较强的(de)自(zi)我纠(jiu)错和逻(luo)辑推理能力，能在复杂计算过程中发现并修正问题。

关键要点总结

总结来说，这项(xiang)研究主要有(you)以下发现。

1. 结构(gou)化推理能力提升

   从生成的(de)序列中可以观察到，经过RL微调的(de)模型在评估得(de)分上实(shi)现了小幅提升。

2. 简化算法复杂度，无需PPO的(de)复杂性

   研究表明(ming)，对(dui)LLM进(jin)行微调只需要一个策略网络即可，无需采用PPO的(de)复杂机制。

3. 优化计算效率(lu)

   Reinforce-Lite作为一个计算友好型算法，支持端到端的(de)RL训练，同时显著降(jiang)低了训练复杂度。

4. 增强模型自(zi)主性

   算法成功地赋(fu)予了LLM自(zi)主能力，让模型会通过尝试不同策略来获取奖励。

5. 更长的(de)推理回合，需要更多内存

   随着训练的(de)进(jin)行，可以发现模型倾向于进(jin)行更长的(de)推理过程，但在使用48GB GPU训练3GB模型（FP16）时，如果超过1024个token，就会频(pin)繁出现内存溢出问题。

6. 在没有(you)KL散度的(de)情况下确保稳定性

   研究人员发现，使用简单的(de)梯度裁剪就能有(you)效替代KL散度计算，这是一种高效的(de)替代方案，用于防止(zhi)策略偏离。在整个训练过程中，模型策略保持稳定，未出现剧烈波动。

从生成的(de)序列中可以观察到，经过RL微调的(de)模型在评估得(de)分上实(shi)现了小幅提升。

研究表明(ming)，对(dui)LLM进(jin)行微调只需要一个策略网络即可，无需采用PPO的(de)复杂机制。

Reinforce-Lite作为一个计算友好型算法，支持端到端的(de)RL训练，同时显著降(jiang)低了训练复杂度。

算法成功地赋(fu)予了LLM自(zi)主能力，让模型会通过尝试不同策略来获取奖励。

随着训练的(de)进(jin)行，可以发现模型倾向于进(jin)行更长的(de)推理过程，但在使用48GB GPU训练3GB模型（FP16）时，如果超过1024个token，就会频(pin)繁出现内存溢出问题。

研究人员发现，使用简单的(de)梯度裁剪就能有(you)效替代KL散度计算，这是一种高效的(de)替代方案，用于防止(zhi)策略偏离。在整个训练过程中，模型策略保持稳定，未出现剧烈波动。

巧的(de)是，最(zui)近来自(zi)微软亚洲研究院的(de)一项(xiang)工作，也证明(ming)了RL的(de)巨大潜力——通过有(you)效且稳定的(de)RL训练后，一个7B模型，居然就发展出了反思、验证和总结的(de)高级推理技能！

而这些技能，在逻(luo)辑语料库(ku)中是完全(quan)缺失的(de)。

受DeepSeek-R1成功的(de)启发，研究团(tuan)队探索了基于规则(ze)的(de)强化学习(xi)（RL）在大规模推理模型中的(de)潜力。

为了分析推理机制，他们选择了具有(you)可控复杂度和直接(jie)答案验证方式(shi)的(de)「合成逻(luo)辑谜题」作为训练数据。 在此过程中，团(tuan)队取得(de)了一些关键性的(de)技术突破，并促成了有(you)效且稳定的(de)RL训练：

• 一个着重强调思考和回答过程的(de)system prompt
• 一个用于惩罚取巧输出的(de)严格格式(shi)奖励函数

• 一个能实(shi)现稳定收(shou)敛的(de)简单训练方案

一个能实(shi)现稳定收(shou)敛的(de)简单训练方案

其中，训练框架采用REINFORCE++算法和来自(zi)DeepSeek-R1的(de)奖励设计进(jin)行后训练。

随着RL训练的(de)进(jin)行，可以观察到模型自(zi)然地分配更多的(de)训练步骤用于推理。这种计算扩展从生成数百个token扩展到数千个token，使其能够更深入地探索和完善其思维过程。

结果显示，只有(you)70亿参数的(de)Qwen2.5-7B，在经过5K个逻(luo)辑问题的(de)训练后，就发展出了一些在逻(luo)辑语料库(ku)中原本不存在的(de)高级推理技能——如反思、验证和总结能力。

研究中，考验模型的(de)这道逻(luo)辑题是这样的(de)。

问题：一个非常(chang)特殊的(de)岛屿上只住着骑士和骗子。骑士总是说真话，骗子总是说谎(huang)。你遇到两位岛民：Zoey和Oliver。Zoey说：「Oliver不是骑士。」Oliver说：「Oliver是骑士且Zoey是骗子。」请(qing)问，谁是骑士，谁是骗子？

正确答案：（1）Zoey是骗子；（2）Oliver是骑士。

这个「骑士与骗子」谜题，因其合成设计和逻(luo)辑精确性而非常(chang)适合进(jin)一步分析。

首先，谜题对(dui)于模型来说都是未见过大数据，非常(chang)适合用来测试泛化能力。

其次，通过改变字符数量（2到8个）和逻(luo)辑运算的(de)复杂性（1到4种布尔(er)运算符组合），可以调节(jie)难度。

而且，每个谜题都有(you)一个单一、明(ming)确的(de)正确答案，正确性由生成算法保证。解答需要严格的(de)演绎推理，因此减少了奖励作弊的(de)风险。

总之(zhi)，每个谜题都遵循正式(shi)规则(ze)构(gou)建，能确保每个问题都有(you)一个独特的(de)解决方案，并可以确定性地验证。这消除了自(zi)然语言任务中常(chang)见的(de)模糊性，使我们能够清晰地区分真正的(de)推理能力和表面上的(de)记忆(yi)。

在奖励建模中，研究在模型输出中不断检测作弊行为，并不断改进(jin)奖励设计。

最(zui)终(zhong)，他们设计出了一种几乎无法作弊的(de)基于规则(ze)的(de)奖励系统，仅包(bao)含(han)两种奖励类型：格式(shi)奖励和答案奖励。

以下就是不同的(de)推理模型和通用模型在不同难度的(de)K&K逻(luo)辑谜题上的(de)表现。

在RL训练后，可以在模型中观察到以下涌现的(de)行为。

1. 会出现犹豫和自(zi)我验证

在思考环节(jie)，模型会不时使用「我不是完全(quan)确定，让我们重新检查(cha)这一步」这类反思性表达。

这种自(zi)我审视的(de)行为特征在预训练阶段是完全(quan)不存在的(de)，而是通过奖励正确答案、惩罚错误答案的(de)强化学习(xi)机制逐步培养形成的(de)。

2. 多轮径探索和回溯(su)

经过RL训练后，模型会主动提出多个解决方案（「让我们测试两种可能性」），并通过回溯(su)来检查(cha)解决方案的(de)一致性。

3. 应用公式(shi)

尽管训练数据集中并未包(bao)含(han)，但模型不仅能够通过系统性试错方法解决谜题，还(hai)自(zi)主整合了形式(shi)逻(luo)辑推理能力（比如运用「如果P，则(ze)Q」的(de)逻(luo)辑蕴含(han)公式(shi)），这种推理模式(shi)与人类的(de)问题解决方式(shi)高度相似(si)。

4.忽然开始说中文(wen)

模型在分析问题陈述时会临时插入中文(wen)表达，随后又能自(zi)然地转换为英语来提供解决方案。

这一现象表明(ming)，模型正在使用语言混合机制作为一种潜在的(de)备选处理策略，或(huo)是形成了某种特殊的(de)内部表征模式(shi)。

在具有(you)挑战性的(de)数学基准测试AIME和AMC上，模型展现出了卓越的(de)泛化能力——成绩分别提高了125%和38%。

这种跨领域泛化能力表明(ming)，RL训练的(de)推理启发式(shi)方法发展出了抽(chou)象的(de)问题解决模式(shi)，而不是依赖于特定领域的(de)模式(shi)匹配。

所以，这项(xiang)研究的(de)训练期间，也出现「顿(dun)悟时刻」了吗？

换句话说就是，在强化学习(xi)过程中，模型的(de)推理能力是否会发生显著的(de)飞跃，出现多步验证或(huo)反思，而且这些行为不是在训练语料中明(ming)确植入的(de)，而是模型与RL环境的(de)互(hu)动所自(zi)然产生的(de)？

研究人员发现，模型并没有(you)出现「等一下，等一下」这样特定的(de)语言表述，但图4显示出，它在第10步时表现出了一些复杂的(de)推理行为（例如自(zi)我反思、探索、验证、总结）。

由此，研究人员的(de)结论是，RL学习(xi)过程可能没有(you)突如其来的(de)「顿(dun)悟时刻」——复杂的(de)推理行为并不是在某个特定的(de)训练步骤中突然出现的(de)。

1. 反思性词(ci)汇（如「检查(cha)」和「验证」）的(de)频(pin)率(lu)缓慢增加（a）-（c）；2. 会话性短(duan)语（例如「让我们」）和谨(jin)慎词(ci)汇（例如「还(hai)」）变得(de)更加频(pin)繁（d）-（e）；3. 中文(wen)词(ci)汇开始出现在英文(wen)回复中（f）。所有(you)这些词(ci)汇的(de)频(pin)率(lu)都在稳步发展，没有(you)突然的(de)跳跃，表明(ming)可能不存在明(ming)显的(de)「顿(dun)悟时刻」

除了上述技术贡献外，研究还(hai)有(you)几个有(you)趣的(de)发现：

• 更长的(de)回答并不能保证更好的(de)推理。长度本身不是评估训练时间的(de)有(you)效指标。最(zui)有(you)效的(de)推理来自(zi)最(zui)短(duan)路径。

• 语言混合会阻碍推理。这一观察强调了在奖励建模中需要语言一致性惩罚。

• 增加「思考」token确实(shi)有(you)帮助(zhu)。RL训练自(zi)然地提高了与反思相关词(ci)汇的(de)频(pin)率(lu)，表明(ming)某些token频(pin)率(lu)与性能之(zhi)间存在相关性。

• 监督微调（SFT）依赖记忆(yi)；RL实(shi)现泛化。SFT严重依赖记忆(yi)，往往导致表面的(de)捷径学习(xi)，而RL则(ze)在最(zui)小依赖数据集结构(gou)的(de)情况下自(zi)我演化。

• 冷启动是一个优势，但非必需。无论是从基础模型还(hai)是指令模型开始，训练动态都保持惊人的(de)相似(si)性，尽管后者表现略好。

• 课程学习(xi)仍然重要。在固定的(de)数据筛选比例下，精心设计的(de)课程学习(xi)方法总是优于随机打乱(luan)。

更长的(de)回答并不能保证更好的(de)推理。长度本身不是评估训练时间的(de)有(you)效指标。最(zui)有(you)效的(de)推理来自(zi)最(zui)短(duan)路径。

语言混合会阻碍推理。这一观察强调了在奖励建模中需要语言一致性惩罚。

增加「思考」token确实(shi)有(you)帮助(zhu)。RL训练自(zi)然地提高了与反思相关词(ci)汇的(de)频(pin)率(lu)，表明(ming)某些token频(pin)率(lu)与性能之(zhi)间存在相关性。

监督微调（SFT）依赖记忆(yi)；RL实(shi)现泛化。SFT严重依赖记忆(yi)，往往导致表面的(de)捷径学习(xi)，而RL则(ze)在最(zui)小依赖数据集结构(gou)的(de)情况下自(zi)我演化。

冷启动是一个优势，但非必需。无论是从基础模型还(hai)是指令模型开始，训练动态都保持惊人的(de)相似(si)性，尽管后者表现略好。

课程学习(xi)仍然重要。在固定的(de)数据筛选比例下，精心设计的(de)课程学习(xi)方法总是优于随机打乱(luan)。

本文(wen)来源：，原文(wen)标题：《10美元成功复现DeepSeek顿(dun)悟时刻，3B模型爆发超强推理！微软论文(wen)实(shi)锤涌现》