Inferencia on SoloSoft

AMD adquiere Taalas: grabando pesos de LLM en silicio a 17.000 tokens/segundo

Fri, 07 Aug 2026 00:00:00 +0000

AMD adquiere Taalas: grabando pesos de LLM en silicio a 17.000 tokens/segundo

El 6 de agosto de 2026, AMD anunció la adquisición de Taalas, la startup de chips IA de Toronto que aplica el enfoque más radical a la inferencia: graba los pesos de los modelos directamente en el silicio. El resultado es un chip que sirve Llama 3.1 8B de Meta a 17.000 tokens por segundo — 48-73x más rápido que las GPU insignia de Nvidia a una décima parte de la energía.

Es la respuesta de AMD al acuerdo de 20.000 millones de dólares de Nvidia con Groq — y señala que la guerra del hardware IA se ha movido del entrenamiento a la inferencia.

Gemma.cpp: El Motor de Inferencia C++ Ligero de Google para Modelos Gemma

Fri, 01 May 2026 00:00:00 +0000

El panorama de la inferencia de LLM ha sido moldeado en gran medida por dos enfoques: frameworks pesados como PyTorch con aceleracion GPU completa, o motores altamente optimizados pero complejos como llama.cpp que soportan cientos de arquitecturas de modelo. Gemma.cpp toma un tercer camino deliberado: un motor C++ ligero y de dependencias minimas construido especificamente para la familia de modelos Gemma de Google, priorizando la claridad del codigo y la portabilidad sobre la maxima cobertura de funciones.

Gemma.cpp es el motor de inferencia oficial de Google para sus modelos abiertos Gemma, disenado por el mismo equipo que creo los modelos. En lugar de ser un framework de inferencia de proposito general, Gemma.cpp esta enfocado con precision de laser en ejecutar las arquitecturas Gemma de manera eficiente en una amplia gama de hardware, desde servidores en la nube hasta dispositivos moviles.

Xorbits Inference: Plataforma de Servicio LLM Escalable

Fri, 01 May 2026 00:00:00 +0000

Desplegar modelos de lenguaje grandes en produccion es un desafio fundamentalmente diferente a entrenarlos. El entrenamiento requiere clusters masivos y semanas de computo, pero puede tolerar procesamiento por lotes y rendimiento variable. La inferencia en produccion requiere latencia consistente de sub-segundo, escalado elastico para manejar picos de trafico, gestion de multiples modelos en diferentes configuraciones de hardware y observabilidad en cada solicitud. La brecha entre un modelo entrenado y una infraestructura de servicio de grado de produccion es enorme.

Xorbits Inference (Xinference) llena esta brecha con una plataforma de codigo abierto construida especificamente para servicio LLM escalable. Originalmente desarrollado como parte del ecosistema Xorbits para procesamiento distribuido de datos, Xinference ha crecido hasta convertirse en una de las plataformas de servicio de modelos de codigo abierto mas completas disponibles. Soporta una amplia gama de arquitecturas de modelos – desde LLMs y modelos de embedding hasta modelos de vision-lenguaje y audio – y proporciona las herramientas operativas necesarias para ejecutarlos de manera confiable a escala.