Animate Anyone: Animación de Personajes Impulsada por IA desde Imágenes Únicas

Animate Anyone es un proyecto de investigación del grupo HumanAIGC de Alibaba que convierte una sola foto en un video completamente animado de una persona caminando, bailando o realizando cualquier secuencia de poses, preservando la identidad, vestimenta y apariencia del personaje con una fidelidad notable. Representa una de las aplicaciones más impresionantes de síntesis de imagen a video utilizando modelos de difusión.

El desafío técnico central que resuelve es la consistencia temporal con preservación de identidad. Los enfoques anteriores sufrían de parpadeo, deriva de apariencia y pérdida de detalles finos. La innovación de Animate Anyone es una arquitectura de difusión guiada por referencia que inyecta características de apariencia de la imagen de entrada en cada fotograma del video generado en múltiples escalas.

Repositorio: github.com/HumanAIGC/AnimateAnyone

Arquitectura

flowchart TD
    A[Imagen de Referencia\nFoto Única] --> B[ReferenceNet\nCodificador de Apariencia]
    A --> C[Guía de Pose]
    D[Secuencia de Poses\nEsqueleto por fotograma] --> C

    B --> E[Atención Cruzada\nInyección de Características]
    C --> F[Control Espacial]

    E --> G[U-Net de Denoising\nDifusión multi-paso]
    F --> G

    G --> H[Generador de\nDesplazamiento de Ruido]
    G --> I[Decodificador de\nFotogramas Latentes]

    H --> J[Fotograma 1]
    H --> K[Fotograma 2]
    H --> L[Fotograma N]

    J --> M[Salida de\nVideo Final]
    K --> M
    L --> M

Capacidades

Instalación

git clone https://github.com/HumanAIGC/AnimateAnyone.git
cd AnimateAnyone
pip install -r requirements.txt
wget https://huggingface.co/HumanAIGC/AnimateAnyone/resolve/main/model.pth

python inference.py \
  --reference ./input/photo.jpg \
  --pose ./poses/dance_sequence.pkl \
  --output ./output/video.mp4

Especificaciones

FAQ

Qué es Animate Anyone? Proyecto de Alibaba HumanAIGC que anima personajes humanos desde una sola imagen de referencia generando video con identidad, vestimenta y apariencia consistentes.

Cómo mantiene la consistencia? Mediante ReferenceNet que comparte pesos con el backbone de difusión, inyectando características de apariencia mediante atención cruzada.

Licencia? Apache-2.0, permite uso comercial. Directrices éticas desaconsejan aplicaciones maliciosas.

Implementaciones comunitarias? Sí, incluyendo AnimateAnyone Replica y Hugging Face Spaces.

Hardware? Mínimo 16 GB VRAM, recomendado 24 GB+. Servicios cloud alternativos viables.

Lecturas Adicionales

• Repositorio de Animate Anyone en GitHub
• Artículo de Investigación
• Proyecto Comunitario AnimateAnyone Replica
• Stable Diffusion
• HumanAIGC en Alibaba