ChatRWKV: El Modelo de Lenguaje 100% RNN de Código Abierto que Desafía a los Transformers

Mon, 01 Jan 0001 00:00:00 +0000

Durante años, la comunidad de IA operó bajo una suposición ampliamente aceptada: la arquitectura transformer, introducida en el innovador artículo “Attention Is All You Need”, era el único camino viable para construir grandes modelos de lenguaje. Las redes neuronales recurrentes (RNN) se consideraban obsoletas – demasiado lentas para entrenar, demasiado propensas a gradientes evanescentes, incapaces de igualar la calidad de los transformers a escala. RWKV rompe esa suposición.

Creado por el desarrollador Bo Peng (conocido como BlinkDL), RWKV es una arquitectura 100% RNN que logra una calidad comparable a los transformers mientras ofrece una inferencia dramáticamente más rápida y un menor consumo de memoria. ChatRWKV es la interfaz orientada a chat de este modelo, proporcionando una alternativa de código abierto a ChatGPT que puede ejecutarse en hardware de consumo.

Modelo De Lenguaje on SoloSoft

ChatRWKV: El Modelo de Lenguaje 100% RNN de Código Abierto que Desafía a los Transformers