TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Fri, 01 May 2026 00:00:00 +0000

DeepSeek R1-Zero fue ampliamente considerado un gran avance cuando se lanzó en enero de 2025. El modelo demostró que el aprendizaje por refuerzo puro podía producir razonamiento avanzado de cadena de pensamiento, autocorrección y sorprendentes “momentos ajá”. TinyZero de Jiayi Pan rompe por completo esa suposición.

TinyZero es una reproducción mínima y de código abierto de la metodología DeepSeek R1-Zero que se ejecuta en una sola GPU por menos de $30 en costos de cómputo en la nube. Usando el framework veRL, TinyZero aplica PPO a modelos base pequeños como Qwen-2.5-1.5B-Instruct y Qwen-2.5-7B.

Repositorio: github.com/Jiayi-Pan/TinyZero

Comparación

Aspecto	TinyZero	DeepSeek R1-Zero
Modelo Base	Qwen-2.5-1.5B / 7B	DeepSeek-V3 (671B)
Framework	veRL (código abierto)	Propietario
Costo de Entrenamiento	Menos de $30	Millones de dólares
GPU	Una sola GPU	Grandes clusters
Algoritmo RL	PPO	GRPO
Comportamientos Emergentes	Auto-verificación, reflexión, “momentos ajá”	Auto-verificación, reflexión, “momentos ajá”

Comportamientos Emergentes

Comportamiento	Qwen-2.5-0.5B	Qwen-2.5-1.5B	Qwen-2.5-7B
Auto-verificación	Raro	Frecuente	Consistente
Retroceso	Ausente	Ocasional	Frecuente
CoT Extendido (>200 tokens)	No	Sí	Sí
Exploración multi-estrategia	No	Raro	Frecuente
“Momento ajá”	No	Ocasional	Sí
Costo (A100 80GB)	~$5	~$15	~$30

Arquitectura

flowchart LR
 A[Modelo Base<br/>Qwen-2.5] --> B[Tarea de Cuenta Regresiva<br/>Prompt]
 B --> C[Modelo Genera<br/>Respuesta con CoT]
 C --> D[Cálculo de Recompensa<br/>Correcto = +1, Incorrecto = 0]
 D --> E[Actualización PPO<br/>mediante veRL]
 E --> B

Costos

Componente	Modelo 1.5B	Modelo 7B
GPU Nube	~$1.10/hora	~$1.10/hora
Pasos de entrenamiento	~200	~300
Tiempo	~6 horas	~24 horas
Total estimado	~$7	~$27

FAQ

Qué es TinyZero? Reproducción mínima de código abierto de DeepSeek R1-Zero que demuestra razonamiento emergente en modelos de 1.5B parámetros por menos de $30.

VeRL: Framework de Aprendizaje por Refuerzo de ByteDance para LLMs

Fri, 01 May 2026 00:00:00 +0000

La frontera más emocionante en la investigación de grandes modelos de lenguaje en 2025-2026 no ha sido hacer los modelos más grandes. Ha sido hacerlos más inteligentes a través del aprendizaje por refuerzo. DeepSeek-R1 demostró que el entrenamiento RL – específicamente GRPO (Optimización de Política Relativa a Grupo) – puede mejorar drásticamente las capacidades de razonamiento de un modelo, permitiendo razonamiento de cadena de pensamiento, autocorrección y resolución estructurada de problemas que rivaliza con modelos mucho más grandes. ByteDance, una de las empresas de tecnología más grandes del mundo y creadora de TikTok y Douyin, ha estado aplicando estas mismas técnicas a escala para entrenar sus propios modelos. VeRL es el framework detrás de ese esfuerzo.

VeRL on SoloSoft

TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Comparación

Comportamientos Emergentes

Arquitectura

Costos

FAQ

VeRL: Framework de Aprendizaje por Refuerzo de ByteDance para LLMs