無程式碼也能輕鬆打造專業LINE官方帳號！一鍵導入模板，讓AI助你行銷加分！
语言模型能够通过强化学习——而无需人类示范——发展出复杂推理能力的这一发现，是 2024 年和 2025 年 AI 研究中最令人惊讶的结果之一。DeepSeek R1 表明，使用 RL 训练的模型可以学会逐步思考，产生思维链推理，从而在数学、逻辑和编程任务上大幅提升表现。X-R1 是一个探索这些技术的开源项目，旨在重现、理解和扩展通过 RL 进行推理的范式。
由研究员 dhcode-cpp 开发，X-R1 实现了 DeepSeek R1 及相关论文的关键技术，使其易于在开源模型上进行实验。该项目提供了训练脚本、奖励函数实现和评估流水线，研究员可以用来调查 RL 如何塑造语言模型中的推理行为。
X-R1 的重要性超越了重现现有结果。通过提供开源实现，它使更广泛的研究社区能够探究 RL 驱动推理的机制，实验不同的奖励公式，并探索推理如何在不同的模型架构和规模上进行泛化。
强化学习如何教导推理？
X-R1 的训练流水线遵循一个专为推理任务设计的结构化强化学习循环。
graph TD
A[基础语言模型] --> B[生成推理步骤\n思维链]
B --> C[产生最终答案]
C --> D{奖励评估}
D -->|正确答案 + 良好推理| E[正向奖励]
D -->|错误答案| F[负向奖励]
D -->|正确但无推理| G[中性奖励]
E --> H[策略梯度更新\nPPO / GRPO]
F --> H
G --> H
H --> I[更新后的模型]
I --> J{收敛？}
J -->|否| B
J -->|是| K[训练后的推理模型]
奖励函数是关键的设计选择。简单的答案正确性奖励可能导致奖励黑客行为，而过于复杂的奖励函数可能限制模型的学习。X-R1 提供了几个平衡这些问题的奖励函数模板。
X-R1 实现了哪些训练技术？
X-R1 实现了多种 RL 算法和训练策略以改善推理。
| 技术 | 描述 | 灵感来源 |
|---|---|---|
| PPO（近端策略优化） | 策略更新的标准 RL 算法 | OpenAI |
| GRPO（群组相对策略优化） | 使用基于群组的优势估计 | DeepSeek R1 |
| 结果奖励建模 | 基于最终答案正确性的奖励 | DeepSeek R1 |
| 过程奖励建模 | 基于中间推理步骤的奖励 | Math-Shepherd |
| 拒绝采样 | 生成多次尝试，在成功案例上训练 | STaR（自学推理器） |
| 课程训练 | 训练中逐步增加任务难度 | 教育理论 |
GRPO 是 X-R1 的主要算法，因为它通过在生成的响应群组内估计优势来减少对单独价值网络的需求。这使训练更简单、更稳定。
X-R1 在推理基准上的表现如何？
该项目报告了 RL 训练后在标准推理评估上的结果。
| 基准 | 基础模型 | X-R1 训练后 | 改进 |
|---|---|---|---|
| GSM8K（数学） | 45.2% | 72.8% | +27.6% |
| MATH | 22.1% | 45.3% | +23.2% |
| HumanEval（代码） | 38.5% | 56.2% | +17.7% |
| MBPP（代码） | 52.1% | 66.4% | +14.3% |
| MMLU（通用） | 61.3% | 68.9% | +7.6% |
| BBH（BIG-Bench Hard） | 48.7% | 59.1% | +10.4% |
最大的改进出现在数学推理任务上，这与 DeepSeek R1 的发现一致。通用知识（MMLU）的提升较为温和，这表明 RL 推理训练主要改善模型的推理能力而非事实知识。
有哪些开放的未解决研究问题？
X-R1 的开发凸显了几个关于 RL 驱动推理的未解决问题。
| 问题 | 当前理解 | 研究方向 |
|---|---|---|
| RL 为何改善推理？ | 尚未完全理解 | 机制可解释性研究 |
| 推理是否泛化？ | 部分——在类似训练的任务上最佳 | 跨领域迁移评估 |
| 最佳奖励设计？ | 答案正确性有效，过程奖励更有帮助 | 自动奖励发现 |
| 规模效应？ | 较大的模型从 RL 中受益更多 | 规模法则实验 |
| 推理崩溃？ | 没有持续 RL，模型可能忘记推理 | 正则化和稳定性技术 |
推理是否泛化的问题对于实际应用尤其重要。如果 RL 训练的推理仅在类似于训练分布的任务上有帮助，其价值有限。早期证据显示部分泛化，模型在相关但未见过的任务类型上表现出改进的推理。
常见问题
什么是 X-R1？ X-R1 是一个开源研究项目，探索强化学习如何改善语言模型的推理能力。它受到 DeepSeek R1 的启发，旨在重现和扩展使模型能够通过 RL 训练发展思维链推理的技术。
X-R1 如何使用强化学习进行推理？ X-R1 应用强化学习来训练语言模型产生更好的推理链。模型不是在预先编写的示例上训练，而是生成推理步骤、解决问题，并根据答案正确性获得奖励。经过多次迭代，模型学会产生更有效的推理。
X-R1 支持哪些模型？ X-R1 支持开源基础模型，包括 Qwen、LLaMA 和 Mistral 系列。该框架是模型无关的，可以应用于任何支持微调的基于 Transformer 的语言模型。该项目为 1.5B 到 70B 参数的常见模型大小提供配置模板。
什么是 DeepSeek R1 的启发？ DeepSeek R1 证明了仅靠强化学习——无需在推理示例上进行监督微调——就能在数学推理和代码生成方面产生显著改进。X-R1 旨在在开源模型上重现和扩展这些发现。
X-R1 可以用于改善特定任务的模型吗？ 可以，X-R1 的 RL 训练可以通过设计适当的奖励函数来针对特定领域。例如，通过在训练期间提供任务特定的奖励信号，可以训练模型改进数学证明、代码生成、科学推理或逻辑演绎。
延伸阅读
- X-R1 GitHub 仓库 – 源代码、训练脚本和模型权重
- DeepSeek R1 论文 – 基于 RL 的推理改进的基础研究
- STaR：自学推理器论文 – 通过自生成示例引导推理的相关工作
