TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Fri, 01 May 2026 00:00:00 +0000

DeepSeek R1-Zero fue ampliamente considerado un gran avance cuando se lanzó en enero de 2025. El modelo demostró que el aprendizaje por refuerzo puro podía producir razonamiento avanzado de cadena de pensamiento, autocorrección y sorprendentes “momentos ajá”. TinyZero de Jiayi Pan rompe por completo esa suposición.

TinyZero es una reproducción mínima y de código abierto de la metodología DeepSeek R1-Zero que se ejecuta en una sola GPU por menos de $30 en costos de cómputo en la nube. Usando el framework veRL, TinyZero aplica PPO a modelos base pequeños como Qwen-2.5-1.5B-Instruct y Qwen-2.5-7B.

Repositorio: github.com/Jiayi-Pan/TinyZero

Comparación

Aspecto	TinyZero	DeepSeek R1-Zero
Modelo Base	Qwen-2.5-1.5B / 7B	DeepSeek-V3 (671B)
Framework	veRL (código abierto)	Propietario
Costo de Entrenamiento	Menos de $30	Millones de dólares
GPU	Una sola GPU	Grandes clusters
Algoritmo RL	PPO	GRPO
Comportamientos Emergentes	Auto-verificación, reflexión, “momentos ajá”	Auto-verificación, reflexión, “momentos ajá”

Comportamientos Emergentes

Comportamiento	Qwen-2.5-0.5B	Qwen-2.5-1.5B	Qwen-2.5-7B
Auto-verificación	Raro	Frecuente	Consistente
Retroceso	Ausente	Ocasional	Frecuente
CoT Extendido (>200 tokens)	No	Sí	Sí
Exploración multi-estrategia	No	Raro	Frecuente
“Momento ajá”	No	Ocasional	Sí
Costo (A100 80GB)	~$5	~$15	~$30

Arquitectura

flowchart LR
 A[Modelo Base<br/>Qwen-2.5] --> B[Tarea de Cuenta Regresiva<br/>Prompt]
 B --> C[Modelo Genera<br/>Respuesta con CoT]
 C --> D[Cálculo de Recompensa<br/>Correcto = +1, Incorrecto = 0]
 D --> E[Actualización PPO<br/>mediante veRL]
 E --> B

Costos

Componente	Modelo 1.5B	Modelo 7B
GPU Nube	~$1.10/hora	~$1.10/hora
Pasos de entrenamiento	~200	~300
Tiempo	~6 horas	~24 horas
Total estimado	~$7	~$27

FAQ

Qué es TinyZero? Reproducción mínima de código abierto de DeepSeek R1-Zero que demuestra razonamiento emergente en modelos de 1.5B parámetros por menos de $30.

X-R1: Exploración Open-Source de Modelos de Razonamiento

Fri, 01 May 2026 00:00:00 +0000

El descubrimiento de que los modelos de lenguaje podían desarrollar capacidades de razonamiento sofisticadas a través del aprendizaje por refuerzo – sin demostraciones humanas – fue uno de los resultados más sorprendentes en la investigación de IA de 2024 y 2025. DeepSeek R1 mostró que los modelos entrenados con RL podían aprender a pensar paso a paso, produciendo razonamiento de cadena de pensamiento que mejoraba dramáticamente el rendimiento en tareas matemáticas, lógicas y de codificación. X-R1 es un proyecto open-source que explora estas técnicas, con el objetivo de reproducir, comprender y extender el paradigma de razonamiento a través de RL.

Razonamiento on SoloSoft

TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Comparación

Comportamientos Emergentes

Arquitectura

Costos

FAQ

X-R1: Exploración Open-Source de Modelos de Razonamiento