PowerInfer: Inferencia LLM de Alta Velocidad en GPUs de Consumo con Diseño Híbrido CPU-GPU

Fri, 01 May 2026 00:00:00 +0000

Ejecutar modelos de lenguaje grandes localmente siempre ha estado limitado por una barrera infranqueable: la memoria GPU. Un modelo de 175 mil millones de parámetros en FP16 requiere aproximadamente 350GB de VRAM, muy por encima de los 24GB disponibles en GPUs de consumo como la RTX 4090. Existen soluciones de nivel de servidor (A100, H100), pero cuestan decenas de miles de dólares. PowerInfer, desarrollado por Tiiny-AI (anteriormente de la Universidad Jiao Tong de Shanghái), rompe esta barrera con una idea inteligente que explota una propiedad fundamental de cómo las redes neuronales realmente computan.

La idea se llama localidad de activación: para cualquier token de entrada dado, solo una pequeña fracción de las neuronas de un modelo están activas. El resto están esencialmente inactivas. PowerInfer explota esto preanalizando el modelo para identificar qué neuronas son “calientes” (activadas frecuentemente) y cuáles son “frías” (raramente activadas). Las neuronas calientes se mantienen en la GPU para acceso rápido; las neuronas frías permanecen en la memoria de la CPU y solo se cargan cuando es necesario.

Localidad De Activación on SoloSoft

PowerInfer: Inferencia LLM de Alta Velocidad en GPUs de Consumo con Diseño Híbrido CPU-GPU