Aprendizaje Por Refuerzo on SoloSoft

OpenManus-RL: Ajuste con Aprendizaje por Refuerzo para Agentes LLM

Mon, 01 Jan 0001 00:00:00 +0000

OpenManus-RL es un proyecto de investigacion de codigo abierto en la interseccion del aprendizaje por refuerzo y los sistemas de agentes LLM, desarrollado colaborativamente por Ulab-UIUC (Universidad de Illinois en Urbana-Champaign) y MetaGPT. El proyecto proporciona un marco integral para el ajuste con aprendizaje por refuerzo de agentes basados en LLM, con implementaciones de GRPO (Optimizacion de Politica Relativa a Grupos), ajuste fino supervisado (SFT) y estrategias avanzadas de despliegue disenadas especificamente para tareas agenciales.

A medida que los agentes LLM se vuelven cada vez mas capaces de razonamiento complejo de multiples pasos y uso de herramientas, la necesidad de optimizacion especifica con aprendizaje por refuerzo ha crecido dramaticamente. OpenManus-RL aborda esto proporcionando un pipeline modular y reproducible para entrenar agentes en tareas especificas de agente, con soporte integrado para entornos diversos incluyendo ingenieria de software (SWE-Bench), navegacion web (WebArena) y uso general de herramientas.

Robot de tenis de mesa Ace： el desafiante al campeón mundial creado por Sony AI

Mon, 01 Jan 0001 00:00:00 +0000

¿Cómo logra Ace vencer a jugadores humanos? Análisis de los tres avances tecnológicos

El éxito de Ace no es el triunfo de una sola tecnología, sino la integración sistémica de tres innovaciones clave: sensores de eventos, aprendizaje por refuerzo sin modelo y hardware de alta velocidad. La colaboración de estas tres tecnologías permite al robot percibir en tiempo real, tomar decisiones rápidas y ejecutar con precisión.

Sensores de eventos: solo rastrean cambios clave, eficiencia multiplicada por cien

Las cámaras tradicionales capturan decenas de imágenes completas por segundo, pero el sensor de eventos de Ace solo registra los cambios dinámicos en la escena, como la velocidad de la pelota, el efecto y el punto de caída. Esta estrategia de “solo lo esencial” reduce drásticamente la cantidad de datos a procesar, permitiendo al robot concentrarse en seguir la trayectoria. El equipo de Sony AI afirma que la latencia de esta tecnología es de solo unos 20 milisegundos, muy por debajo de los 230 ms de tiempo de reacción de un atleta humano.

TinyZero: Reproduciendo el Razonamiento de DeepSeek R1-Zero con RL por Menos de $30

Mon, 01 Jan 0001 00:00:00 +0000

DeepSeek R1-Zero fue ampliamente considerado un gran avance cuando se lanzó en enero de 2025. El modelo demostró que el aprendizaje por refuerzo puro podía producir razonamiento avanzado de cadena de pensamiento, autocorrección y sorprendentes “momentos ajá”. TinyZero de Jiayi Pan rompe por completo esa suposición.

TinyZero es una reproducción mínima y de código abierto de la metodología DeepSeek R1-Zero que se ejecuta en una sola GPU por menos de $30 en costos de cómputo en la nube. Usando el framework veRL, TinyZero aplica PPO a modelos base pequeños como Qwen-2.5-1.5B-Instruct y Qwen-2.5-7B.

Repositorio: github.com/Jiayi-Pan/TinyZero

Comparación

Aspecto	TinyZero	DeepSeek R1-Zero
Modelo Base	Qwen-2.5-1.5B / 7B	DeepSeek-V3 (671B)
Framework	veRL (código abierto)	Propietario
Costo de Entrenamiento	Menos de $30	Millones de dólares
GPU	Una sola GPU	Grandes clusters
Algoritmo RL	PPO	GRPO
Comportamientos Emergentes	Auto-verificación, reflexión, “momentos ajá”	Auto-verificación, reflexión, “momentos ajá”

Comportamientos Emergentes

Comportamiento	Qwen-2.5-0.5B	Qwen-2.5-1.5B	Qwen-2.5-7B
Auto-verificación	Raro	Frecuente	Consistente
Retroceso	Ausente	Ocasional	Frecuente
CoT Extendido (>200 tokens)	No	Sí	Sí
Exploración multi-estrategia	No	Raro	Frecuente
“Momento ajá”	No	Ocasional	Sí
Costo (A100 80GB)	~$5	~$15	~$30

Arquitectura

flowchart LR
 A[Modelo Base<br/>Qwen-2.5] --> B[Tarea de Cuenta Regresiva<br/>Prompt]
 B --> C[Modelo Genera<br/>Respuesta con CoT]
 C --> D[Cálculo de Recompensa<br/>Correcto = +1, Incorrecto = 0]
 D --> E[Actualización PPO<br/>mediante veRL]
 E --> B

Costos

Componente	Modelo 1.5B	Modelo 7B
GPU Nube	~$1.10/hora	~$1.10/hora
Pasos de entrenamiento	~200	~300
Tiempo	~6 horas	~24 horas
Total estimado	~$7	~$27

FAQ

Qué es TinyZero? Reproducción mínima de código abierto de DeepSeek R1-Zero que demuestra razonamiento emergente en modelos de 1.5B parámetros por menos de $30.

Verifiers: Libreria Modular de Entornos RL para Entrenar Agentes LLM

Mon, 01 Jan 0001 00:00:00 +0000

Verifiers es una libreria Python modular desarrollada por PrimeIntellect-ai que proporciona un marco integral para crear entornos de aprendizaje por refuerzo adaptados al entrenamiento de agentes LLM. Disenada para investigadores y profesionales que trabajan en alineacion de LLM basada en RL y optimizacion de agentes, Verifiers ofrece una API limpia y componible con componentes para analizar salidas de modelos, evaluar respuestas contra rubricas, calcular recompensas y ejecutar bucles de entrenamiento basados en GRPO.

La libreria aborda una necesidad creciente en la comunidad de investigacion de IA: a medida que los metodos basados en RL como GRPO, PPO y el muestreo por rechazo se convierten en estandar para el ajuste fino de LLM, los investigadores necesitan componentes de entorno estandarizados y reutilizables en lugar de construir infraestructura de entrenamiento desde cero para cada experimento. Verifiers proporciona exactamente esto – un kit de herramientas modular donde los entornos se ensamblan a partir de bloques de construccion intercambiables.

X-R1: Exploración Open-Source de Modelos de Razonamiento

Mon, 01 Jan 0001 00:00:00 +0000

El descubrimiento de que los modelos de lenguaje podían desarrollar capacidades de razonamiento sofisticadas a través del aprendizaje por refuerzo – sin demostraciones humanas – fue uno de los resultados más sorprendentes en la investigación de IA de 2024 y 2025. DeepSeek R1 mostró que los modelos entrenados con RL podían aprender a pensar paso a paso, produciendo razonamiento de cadena de pensamiento que mejoraba dramáticamente el rendimiento en tareas matemáticas, lógicas y de codificación. X-R1 es un proyecto open-source que explora estas técnicas, con el objetivo de reproducir, comprender y extender el paradigma de razonamiento a través de RL.