Entrenamiento LLM on SoloSoft

LlamaFactory: Framework de Codigo Abierto para Ajuste Fino de LLMs

Fri, 01 May 2026 00:00:00 +0000

El ajuste fino de modelos de lenguaje grandes alguna vez fue un proceso complejo y con uso intensivo de recursos, reservado para organizaciones con grandes clusters de GPU. LlamaFactory ha democratizado esta capacidad, proporcionando un framework accesible y rico en funciones que hace que el ajuste fino de cientos de arquitecturas de LLM sea practico en hardware de consumo.

Creado por la comunidad de investigacion (hiyouga/LlamaFactory), este framework ha crecido hasta convertirse en una de las herramientas de ajuste fino de codigo abierto mas populares, soportando todo, desde un simple ajuste LoRA en una sola GPU hasta el entrenamiento distribuido completo a traves de multiples nodos. Abstrae la complejidad de la infraestructura de entrenamiento, permitiendo a los profesionales centrarse en los datos, la configuracion y la evaluacion.

llm.c: La Implementacion Minimalista en C de Karpathy para Entrenamiento de LLMs

Fri, 01 May 2026 00:00:00 +0000

La mayoria de los desarrolladores e investigadores que trabajan con modelos de lenguaje grandes interactuan con ellos a traves de frameworks de alto nivel como PyTorch o Hugging Face Transformers. Estos frameworks ocultan una inmensa complejidad detras de APIs elegantes, pero tambien oscurecen la mecanica fundamental de como estos modelos realmente aprenden. llm.c rasga esa abstraccion, proporcionando una implementacion completa y funcional del entrenamiento de GPT-2 en C puro.

Creado por Andrej Karpathy (anteriormente Director de IA en Tesla, cofundador de OpenAI), llm.c es ante todo un proyecto educativo. Implementa el paso hacia adelante completo, el paso hacia atras y el bucle de entrenamiento para un modelo de lenguaje transformer usando nada mas que bibliotecas estandar de C, sin una sola dependencia de PyTorch, TensorFlow ni ningun framework de aprendizaje automatico.

olmOCR: El Kit de Herramientas Open-Source de AI2 para Conversion de PDF a Markdown para Datos de Entrenamiento LLM

Fri, 01 May 2026 00:00:00 +0000

Convertir PDFs a texto limpio y legible por maquina a escala es uno de los desafios fundamentales en la preparacion de datasets LLM. Los parseadores de PDF tradicionales luchan con disenos complejos, tablas y contenido mixto, mientras que los servicios comerciales de OCR son costosos a escala. olmOCR de Allen AI (AI2) resuelve este problema utilizando un Modelo de Lenguaje y Vision de 7B parametros que convierte paginas PDF en Markdown limpio con notable precision y eficiencia de costos.

La idea clave detras de olmOCR es tratar la conversion de PDF como una tarea de vision-lenguaje en lugar de un problema de extraccion de texto.