TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Fri, 01 May 2026 00:00:00 +0000

DeepSeek R1-Zero fue ampliamente considerado un gran avance cuando se lanzó en enero de 2025. El modelo demostró que el aprendizaje por refuerzo puro podía producir razonamiento avanzado de cadena de pensamiento, autocorrección y sorprendentes “momentos ajá”. TinyZero de Jiayi Pan rompe por completo esa suposición.

TinyZero es una reproducción mínima y de código abierto de la metodología DeepSeek R1-Zero que se ejecuta en una sola GPU por menos de $30 en costos de cómputo en la nube. Usando el framework veRL, TinyZero aplica PPO a modelos base pequeños como Qwen-2.5-1.5B-Instruct y Qwen-2.5-7B.

Repositorio: github.com/Jiayi-Pan/TinyZero

Comparación

Aspecto	TinyZero	DeepSeek R1-Zero
Modelo Base	Qwen-2.5-1.5B / 7B	DeepSeek-V3 (671B)
Framework	veRL (código abierto)	Propietario
Costo de Entrenamiento	Menos de $30	Millones de dólares
GPU	Una sola GPU	Grandes clusters
Algoritmo RL	PPO	GRPO
Comportamientos Emergentes	Auto-verificación, reflexión, “momentos ajá”	Auto-verificación, reflexión, “momentos ajá”

Comportamientos Emergentes

Comportamiento	Qwen-2.5-0.5B	Qwen-2.5-1.5B	Qwen-2.5-7B
Auto-verificación	Raro	Frecuente	Consistente
Retroceso	Ausente	Ocasional	Frecuente
CoT Extendido (>200 tokens)	No	Sí	Sí
Exploración multi-estrategia	No	Raro	Frecuente
“Momento ajá”	No	Ocasional	Sí
Costo (A100 80GB)	~$5	~$15	~$30

Arquitectura

flowchart LR
 A[Modelo Base<br/>Qwen-2.5] --> B[Tarea de Cuenta Regresiva<br/>Prompt]
 B --> C[Modelo Genera<br/>Respuesta con CoT]
 C --> D[Cálculo de Recompensa<br/>Correcto = +1, Incorrecto = 0]
 D --> E[Actualización PPO<br/>mediante veRL]
 E --> B

Costos

Componente	Modelo 1.5B	Modelo 7B
GPU Nube	~$1.10/hora	~$1.10/hora
Pasos de entrenamiento	~200	~300
Tiempo	~6 horas	~24 horas
Total estimado	~$7	~$27

FAQ

Qué es TinyZero? Reproducción mínima de código abierto de DeepSeek R1-Zero que demuestra razonamiento emergente en modelos de 1.5B parámetros por menos de $30.

TRL: Hugging Face's Transformer Reinforcement Learning Library

Fri, 01 May 2026 00:00:00 +0000

The alignment of large language models with human preferences is one of the most important challenges in AI development. TRL (huggingface/trl on GitHub) – Hugging Face’s Transformer Reinforcement Learning library – provides a comprehensive toolkit for tackling this challenge, implementing the full spectrum of RLHF (Reinforcement Learning from Human Feedback) algorithms in a production-ready, well-documented package.

Developed by Hugging Face’s research team, TRL has become the standard library for LLM alignment training, with over 10,000 GitHub stars and widespread adoption across both academia and industry. It supports PPO, DPO, KTO, and several other preference optimization algorithms, each offering different trade-offs between training complexity, computational cost, and alignment effectiveness.

PPO on SoloSoft

TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Comparación

Comportamientos Emergentes

Arquitectura

Costos

FAQ

TRL: Hugging Face's Transformer Reinforcement Learning Library