LLaMA-VID: Una Imagen Vale 2 Tokens -- Comprensión Eficiente de Videos Largos con LLMs

Fri, 01 May 2026 00:00:00 +0000

LLaMA-VID es un proyecto de investigación de ECCV 2024 que aborda el cuello de botella fundamental en la comprensión de video con LLMs: la eficiencia de tokens. Mientras que los LLMs modernos presumen ventanas de contexto de 128K a 200K tokens, los enfoques multimodales anteriores consumían de 100 a 500 tokens por fotograma. El avance de LLaMA-VID es representar cada fotograma con solo 2 tokens – una relación de compresión de 50x a 250x sobre los métodos existentes.

La idea clave es que los fotogramas de video son altamente redundantes. LLaMA-VID introduce una representación de doble token que separa lo que es estable entre fotogramas (el token de contexto) de lo que cambia (el token de movimiento).

ECCV 2024 on SoloSoft

LLaMA-VID: Una Imagen Vale 2 Tokens -- Comprensión Eficiente de Videos Largos con LLMs