無程式碼也能輕鬆打造專業LINE官方帳號！一鍵導入模板，讓AI助你行銷加分！
Verifiers es una libreria Python modular desarrollada por PrimeIntellect-ai que proporciona un marco integral para crear entornos de aprendizaje por refuerzo adaptados al entrenamiento de agentes LLM. Disenada para investigadores y profesionales que trabajan en alineacion de LLM basada en RL y optimizacion de agentes, Verifiers ofrece una API limpia y componible con componentes para analizar salidas de modelos, evaluar respuestas contra rubricas, calcular recompensas y ejecutar bucles de entrenamiento basados en GRPO.
La libreria aborda una necesidad creciente en la comunidad de investigacion de IA: a medida que los metodos basados en RL como GRPO, PPO y el muestreo por rechazo se convierten en estandar para el ajuste fino de LLM, los investigadores necesitan componentes de entorno estandarizados y reutilizables en lugar de construir infraestructura de entrenamiento desde cero para cada experimento. Verifiers proporciona exactamente esto – un kit de herramientas modular donde los entornos se ensamblan a partir de bloques de construccion intercambiables.
Que es Verifiers y como ayuda a entrenar agentes LLM?
Verifiers es una libreria para construir entornos RL disenados especificamente para el entrenamiento de agentes LLM. Proporciona tres componentes centrales: analizadores que extraen informacion estructurada de las salidas del modelo, rubricas que definen criterios de evaluacion y funciones de puntuacion, y entornos que combinan analizadores y rubricas con logica especifica de la tarea. Estos entornos pueden entonces usarse con los entrenadores GRPO integrados o integrarse con pipelines de entrenamiento RL existentes.
Componentes Centrales de Verifiers
| Componente | Proposito | Ejemplos |
|---|---|---|
| Analizador | Extraer datos estructurados de la salida LLM | RegexParser, JSONParser, XMLParser, CodeParser |
| Rubrica | Definir criterios de evaluacion y puntuacion | ExactMatch, RubricScorer, LLMJudge, MultiStep |
| Entorno | Combinar analizadores + rubricas + logica de tarea | MathEnv, CodeEnv, ReasoningEnv, CustomEnv |
| Entrenador | Ejecutar bucles de entrenamiento RL | GRPOTrainer, PPOTrainer, RejectionSampling |
| Despliegue | Gestionar ejecucion de entorno paralelo | SyncRollout, AsyncRollout, DistributedRollout |
Como funciona la arquitectura analizador-rubrica-entorno?
La arquitectura sigue una clara separacion de preocupaciones. Los analizadores manejan el trabajo complejo de extraer informacion estructurada del texto LLM de forma libre – para problemas matematicos, esto podria extraer la respuesta final de una cadena de razonamiento; para tareas de codigo, podria extraer la definicion de la funcion. Las rubricas definen lo que cuenta como respuesta correcta y opcionalmente como puntuar el credito parcial. Los entornos unen todo, gestionando el flujo de la conversacion, proporcionando prompts del sistema y calculando recompensas finales.
flowchart LR
A[Texto de Salida LLM] --> B[Analizador]
B --> C{Analisis Exitoso?}
C -->|No| D[Penalizacion de Formato]
C -->|Si| E[Estructura Extraida]
E --> F[Rubrica]
F --> G{Coincide Rubrica?}
G -->|Exacto| H[Recompensa Completa]
G -->|Parcial| I[Recompensa Parcial]
G -->|Ninguno| J[Recompensa Cero]
D --> K[Puntaje Final]
H --> K
I --> K
J --> K
K --> L[Actualizacion del Entrenador]Metodos de Entrenamiento RL Soportados
| Metodo | Implementacion | Caso de Uso |
|---|---|---|
| GRPO | Optimizacion de Politica Relativa a Grupos | Comparacion multi-trayectoria, sin modelo de valor |
| PPO | Optimizacion de Politica Proximal | Trayectoria unica con funcion de valor |
| Muestreo por Rechazo | Filtrar y ajustar en mejores trayectorias | Filtrado de calidad, arranque en frio para RL |
| Best-of-N | Seleccionar el mejor de N muestras | Optimizacion en tiempo de inferencia |
| GRPO Multiturno | GRPO para dialogo multiturno | Entrenamiento de agentes conversacionales |
Que herramientas CLI estan incluidas?
Verifiers viene con interfaces de linea de comandos que facilitan la ejecucion de experimentos de entrenamiento sin escribir codigo. El comando verifiers-train lanza entrenamiento GRPO con entorno, modelo e hiperparametros configurables. El comando verifiers-eval evalua una politica entrenada contra tareas reservadas. El comando verifiers-bench ejecuta evaluaciones estandarizadas comparando diferentes modelos y configuraciones de entrenamiento. Todas las herramientas CLI soportan archivos de configuracion YAML para seguimiento de experimentos y reproducibilidad.
sequenceDiagram
participant User as Usuario
participant CLI as CLI Verifiers
participant Env as Entorno
participant Model as LLM
participant Trainer as Entrenador RL
participant Log as Registrador de Experimentos
User->>CLI: verifiers-train --config math_grpo.yaml
CLI->>Env: Inicializar Entorno Matematico
CLI->>Model: Cargar LLM base
CLI->>Trainer: Crear entrenador GRPO
loop Paso de Entrenamiento
Trainer->>Model: Generar N respuestas
Model-->>Env: Salidas sin procesar
Env->>Env: Analizar y puntuar
Env-->>Trainer: Recompensas
Trainer->>Model: Actualizacion de pesos GRPO
Trainer->>Log: Registrar metricas
end
Trainer-->>CLI: Entrenamiento completo
CLI-->>User: Modelo guardado, metricas exportadasComo instalo Verifiers?
Verifiers esta disponible a traves de pip y requiere Python 3.10+. La instalacion es sencilla, con dependencias opcionales para diferentes backends. La libreria soporta tanto entrenamiento local en una sola GPU como entrenamiento distribuido a traves de multiples GPUs via PyTorch Distributed. La integracion con el ecosistema Hugging Face significa que los modelos y conjuntos de datos se pueden cargar directamente desde el Hub.
Que hace diferente a Verifiers de otras librerias RL?
Mientras que librerias como TRL (Aprendizaje por Refuerzo de Transformers) y RL4LMs proporcionan capacidades generales de entrenamiento RL, Verifiers se centra especificamente en la capa de construccion de entornos que a menudo es la parte mas lenta de la investigacion RL de LLM. Al proporcionar analizadores, rubricas y entornos componibles, Verifiers reduce drasticamente el codigo repetitivo requerido para configurar un nuevo experimento de entrenamiento RL. Tambien incluye entornos preconstruidos para evaluaciones comunes como MATH, GSM8K y HumanEval, permitiendo la experimentacion inmediata.
Preguntas Frecuentes
Que es Verifiers? Verifiers es una libreria Python modular para crear entornos RL para entrenar agentes LLM, proporcionando analizadores, rubricas, entornos y entrenadores GRPO como bloques de construccion componibles.
Que componentes incluye? Analizadores (extraen datos estructurados de la salida LLM), Rubricas (definen criterios de puntuacion), Entornos (combinan analizadores + rubricas + logica de tarea), Entrenadores (GRPO, PPO) y Gestores de Despliegue.
Que metodos de entrenamiento RL estan soportados? GRPO (Optimizacion de Politica Relativa a Grupos), PPO, Muestreo por Rechazo, muestreo Best-of-N y GRPO multiturno para agentes de dialogo.
Que herramientas CLI vienen con Verifiers? verifiers-train para lanzar entrenamiento, verifiers-eval para evaluacion y verifiers-bench para evaluaciones estandarizadas, todo configurable via YAML.
Como lo instalo? Instalar via pip install verifiers. Se requiere Python 3.10+. Dependencias opcionales para entrenamiento distribuido y backends de modelos especificos.
