VACE：阿里巴巴全能影片創作與編輯模型（ICCV 2025）

影片生成和編輯傳統上由不同的模型處理——一個模型用於文字轉影片，另一個用於影片風格化，再一個用於修補。這種碎片化使得建立全面的影片製作管線變得困難，迫使從業者學習多個模型介面。VACE（Video All-to-All Creation and Editing）透過將所有影片創作和編輯任務統一在單一擴散轉換器模型中，消除了這個問題。

已被 ICCV 2025 接受的 VACE 是阿里巴巴通義實驗室的作品。VACE 背後的關鍵洞見在於，影片創作和編輯任務共享共同的底層結構：它們都涉及基於參考影格、文字描述和遮罩資訊的某種組合來生成或修改影片內容。透過設計統一的條件機制，VACE 可以處理所有這些任務，無需特定任務的模型變體。

該模型支援三大任務類別：影片創作（從文字、圖片或參考片段生成新影片）、影片編輯（風格化或轉換現有影片），以及遮罩編輯（使用遮罩進行修補、外延或物件移除的精確修改）。

VACE 可以執行哪些任務？

VACE 的統一架構透過不同的輸入配置，實現了廣泛的影片生成和編輯任務。

graph TD
    A[VACE 統一模型] --> B[影片創作]
    A --> C[影片編輯]
    A --> D[遮罩編輯]
    B --> E[文字轉影片]
    B --> F[圖片轉影片]
    B --> G[參考轉影片]
    C --> H[風格轉換]
    C --> I[物件替換]
    C --> J[背景更換]
    D --> K[影片修補]
    D --> L[影片外延]
    D --> M[物件移除]

VACE 的架構與其他方法相比如何？

VACE 的統一方法與為每個任務訓練單獨模型或適配器的常見做法形成對比。

統一方法意味著在一個任務上的訓練改進能使所有其他任務受益。例如，從影片轉影片轉換中學習更好的動態表示，能提升模型在文字轉影片創作中生成連貫動態的能力。

有哪些模型變體可用？需要什麼硬體？

VACE 提供兩種變體，以適應不同的硬體和品質需求。

常見問題

什麼是 VACE？ VACE（Video All-to-All Creation and Editing）是阿里巴巴通義實驗室開發的統一影片生成與編輯模型，已被 ICCV 2025 接受。它在單一架構中處理參考轉影片生成、影片轉影片轉換和遮罩影片編輯。

VACE 支援哪些任務類別？ VACE 支援三大任務類別：影片創作、影片編輯和遮罩編輯。

有哪些模型變體可用？ VACE 提供完整模型和輕量精簡版。完整模型提供最高品質，精簡版針對消費級 GPU 進行了優化。

VACE 的架構是什麼？ VACE 使用統一的擴散轉換器架構，採用任務無關設計和統一的條件機制。

如何安裝和使用 VACE？ 可透過複製儲存庫並設定環境來安裝。完整模型建議使用 A100 GPU，精簡版可在 RTX 4090 上執行。

延伸閱讀

• VACE GitHub 儲存庫 – 原始碼、模型和文件
• VACE 學術論文（ICCV 2025） – 統一影片框架的研究論文
• 阿里巴巴通義實驗室研究 – 阿里巴巴的 AI 研究實驗室
• ICCV 2025 會議 – VACE 被接受的會議
• VACE Hugging Face 模型 – 預訓練模型權重和展示