Twinny: Inferencia LLM Local para VS Code

La tension entre las herramientas AI dependientes de la nube y la privacidad del desarrollador se ha convertido en uno de los debates definitorios en el desarrollo de software asistido por IA. Servicios como GitHub Copilot y Cursor ofrecen impresionantes capacidades de finalizacion de codigo, pero requieren enviar tu codigo a servidores externos. Para desarrolladores que trabajan con codigo propietario, en industrias reguladas, o simplemente prefieren no compartir su trabajo con servicios en la nube, esto es un factor decisivo. La respuesta es la IA local, y Twinny es una de las mejores formas de acceder a ella.

Twinny es una extension de VS Code gratuita y de codigo abierto que lleva la inferencia LLM local directamente a tu editor. Se conecta a Ollama – el popular ejecutor de modelos local – y proporciona finalizacion de codigo AI y asistencia de chat sin que ningun dato salga de tu maquina. Sin suscripcion, sin limites de tasa, sin dependencia en la nube. Solo un modelo local ejecutandose en tu hardware, integrado en tu flujo de trabajo de desarrollo.

La experiencia es notablemente similar a GitHub Copilot. Mientras escribes, Twinny sugiere finalizaciones en texto fantasma. Puedes presionar Tab para aceptar, o seguir escribiendo para refinar. El panel de chat en linea te permite hacer preguntas sobre tu codigo, solicitar refactorizaciones o generar nuevo codigo – todo ejecutandose a traves de un modelo local que no cuesta nada operar despues de la descarga inicial. La calidad depende del modelo que elijas, y la comunidad ha convergido en varias opciones excelentes que rivalizan con las soluciones en la nube para la mayoria de las tareas de codigo diarias.

Comparacion de Funciones

Twinny proporciona un conjunto integral de funciones de codigo asistido por IA a traves de su integracion con VS Code:

Flujo de Trabajo de Twinny

El siguiente diagrama ilustra como Twinny procesa una solicitud de finalizacion de codigo a traves del stack local:

sequenceDiagram
    participant VS as Editor VS Code
    participant TW as Extension Twinny
    participant Ollama as Servidor Ollama
    participant Model as Modelo LLM Local<br>(ej. CodeGemma 7B)
    participant GPU as GPU / CPU

    VS->>TW: Usuario escribe codigo (evento de tecla)
    TW->>TW: Extraer contexto (archivo actual, posicion cursor)
    TW->>TW: Construir prompt desde contexto y prefijo
    TW->>Ollama: POST /api/generate (prompt, modelo, contexto)
    Ollama->>Model: Cargar/mantener modelo en memoria
    Model->>GPU: Ejecutar inferencia
    GPU-->>Model: Tokens de finalizacion generados
    Model-->>Ollama: Transmitir tokens de finalizacion
    Ollama-->>TW: Transmitir respuesta
    TW->>TW: Analizar finalizacion, filtrar calidad
    TW->>VS: Mostrar sugerencia en texto fantasma
    VS->>VS: Usuario presiona Tab para aceptar
    VS->>TW: Finalizacion aceptada

Cada pulsacion de tecla desencadena este pipeline, que tipicamente se completa en 200-500ms en una GPU moderna con un modelo de 7B. La extension Twinny maneja la extraccion de contexto, la construccion del prompt y el filtrado de resultados, mientras que Ollama gestiona el ciclo de vida del modelo y la inferencia.

Modelos Recomendados para Twinny

La calidad de la salida de Twinny depende en gran medida de la seleccion del modelo:

Comenzando

Para comenzar a usar Twinny, primero instala Ollama y descarga un modelo, luego instala la extension Twinny en VS Code:

# Instalar Ollama y descargar un modelo de codigo
curl -fsSL https://ollama.ai/install.sh | sh
ollama pull codegemma

# Luego busca "Twinny" en el panel de Extensiones de VS Code

El repositorio de Twinny en GitHub proporciona guias de configuracion completas, consejos de configuracion y discusiones comunitarias sobre preferencias de modelo y ajuste de rendimiento.

FAQ

Que es Twinny?

Twinny es una extension de VS Code gratuita y de codigo abierto que proporciona finalizacion de codigo AI y chat usando LLMs que se ejecutan localmente a traves de Ollama. Es una alternativa prioritaria en privacidad a GitHub Copilot sin dependencias en la nube, sin datos que salgan de tu maquina y sin tarifas de suscripcion.

Como se compara Twinny con GitHub Copilot?

Twinny es completamente local mientras que Copilot esta basado en la nube. Las finalizaciones de Twinny dependen de la calidad de tu modelo local (Llama 3, Qwen, CodeGemma, etc.) en lugar del modelo OpenAI propietario de Copilot. Twinny ofrece finalizaciones ilimitadas sin suscripcion, mientras que Copilot tiene una tarifa de $10/mes y limites de tasa.

Que modelos funcionan mejor con Twinny?

Para finalizacion de codigo, los modelos de codigo especializados como CodeGemma, StarCoder2 y DeepSeek-Coder funcionan mejor. Para asistencia basada en chat, los modelos de proposito general como Llama 3 y Qwen 2.5 funcionan bien. Los modelos con 7B parametros tipicamente ofrecen el mejor equilibrio entre calidad y velocidad.

Que hardware necesito para Twinny?

Para modelos de 7B parametros: 8GB RAM (16GB+ recomendado), cualquier CPU moderna, y una GPU con 6GB+ VRAM (Apple Silicon funciona bien). Para modelos mas grandes, se necesita mas memoria y potencia de GPU. Incluso sin GPU, se pueden lograr finalizaciones razonables con modelos cuantizados a 4 bits en CPU.

Twinny es realmente gratuito?

Si, Twinny es completamente gratuito y de codigo abierto bajo la licencia MIT. No hay suscripcion, sin limites de uso y sin recopilacion de datos. El unico costo es la electricidad para ejecutar tu modelo local y el espacio de almacenamiento para los pesos del modelo.

Lecturas Adicionales

• Repositorio de Twinny en GitHub – Codigo fuente, lanzamientos y discusiones comunitarias
• Sitio Oficial de Ollama – Ejecutor LLM local que impulsa la inferencia de Twinny
• Biblioteca de Modelos de Ollama – Modelos disponibles para inferencia local
• CodexBar para macOS – Otra herramienta de codigo AI local para la barra de menus de macOS