AudioGhost AI：使用 Meta SAM-Audio 的開源物件導向音訊分離工具

幾十年來，要從混合錄音中分離出單一樂器，要不是需要原始錄音室的多軌音源，就是得有經驗豐富的音訊工程師進行繁複的頻譜編輯。AudioGhost AI 改寫了這項工作流程，它將 Meta 先進的 SAM-Audio 模型帶到桌面上，提供直觀的圖形介面，讓任何人都能只靠文字提示就完成聲音分離。

由開源貢獻者 0x0funky 所開發，AudioGhost AI 是專為 Meta AI 的 SAM-Audio 研究模型所打造的工具。SAM-Audio 將「分割任何東西」的理念 —— 最初是為影像分割而開發 —— 擴展到音訊領域。原始的 SAM 模型可以點選影像中的任何像素來隔離該物件；SAM-Audio 則將同樣的原理應用到聲音上。描述您想分離的音源（「主唱」、「小鼓」、「木吉他」），模型就能以令人驚艷的 fidelity 將其從混音中隔離出來。

AudioGhost AI 特別值得注意的地方在於它的可及性。消費級的音訊分離工具歷來需要雲端 API 訂閱或強大的伺服器級 GPU。AudioGhost AI 可在配備 4 到 6 GB VRAM 的 GPU 上流暢執行 —— 這個範圍涵蓋了目前市面上的絕大多數消費級和遊戲用 GPU。這讓獨立音樂人、播客製作者、影片編輯者和業餘愛好者，即使沒有高階運算資源，也能享有專業品質的音訊分離。

AudioGhost AI 究竟是什麼？為何要建立它？

AudioGhost AI 的建立是為了彌合 Meta 研究成果與實際日常使用之間的差距。Meta 以命令列推理腳本的形式發佈了 SAM-Audio 研究模型，但沒有提供使用者友善的介面。0x0xfunky 建立了 AudioGhost AI，提供基於 Gradio 的圖形介面，無需接觸任何終端機命令或 Python 推理程式碼。

這款工具在最好的意義上可謂專注：它專注於做好一件事 —— 文字引導的物件導向音訊分離 —— 而不是試圖成為一個完整的數位音訊工作站。使用者描述他們想提取的聲音，在波形顯示上調整感興趣的區域，然後匯出分離後的音軌。

graph LR
    A[輸入混合音訊檔] --> B[AudioGhost AI 介面]
    C[描述目標音效的文字提示] --> B
    B --> D[SAM-Audio 推理引擎]
    D --> E[分離出的音源]
    D --> F[殘留背景音訊]
    E --> G[匯出 WAV/MP3]
    F --> G

SAM-Audio 的物件導向方法與傳統音源分離有何不同？

傳統的音源分離模型 —— 例如 Demucs 或 Spleeter —— 是基於分類器的。它們經過訓練可以識別特定類別（人聲、鼓、貝斯、其他），而且只能輸出那些預先定義的分軌。如果您想隔離「只是 hi-hat」而不是整個鼓組，或者「左聲道的節奏吉他」而不是所有吉他，這些模型就顯得不夠用了。

SAM-Audio 採用了根本不同的方法。它不是將聲音分類到固定的類別中，而是使用以文字為條件的擴散模型，可以關注自然語言中描述的任何聲音。這與 Meta 的 Segment Anything Model 背後的架構理念相同，但適用於頻譜圖領域而非像素領域。

執行 AudioGhost AI 需要什麼硬體？

AudioGhost AI 最強大的賣點之一是其適中的硬體需求。SAM-Audio 模型使用精簡架構，在不需要大型音訊基礎模型所需 VRAM 的情況下，就能達成優異的分離品質。

該應用程式支援 CUDA（NVIDIA）、Metal Performance Shaders（Apple Silicon）以及僅 CPU 的備援模式，不過 CPU 路徑明顯較慢，建議僅用於短片段。

AudioGhost AI 的圖形介面長什麼樣子？如何使用？

AudioGhost AI 提供一個基於 Gradio 的簡潔三面板介面，可透過瀏覽器在本地端和遠端使用：

1. 左側輸入面板：上傳音訊檔案（WAV、MP3、FLAC，最長可達數分鐘），然後輸入要分離的聲音的文字描述。
2. 中央視覺化面板：波形顯示搭配頻譜疊加圖。使用者可以選取時間區域，將分離限制在音訊的特定段落。
3. 右側輸出面板：兩個可下載的音訊檔案 —— 分離後的音源以及殘留的背景音訊。

工作流程非常直觀：上傳、描述、選取區域、分離、匯出。不需要設定檔、不需要命令列參數，也不需要 Python 腳本知識。

關於 AudioGhost AI 的常見問題

sequenceDiagram
    participant User as 使用者
    participant GUI as AudioGhost 介面
    participant Model as SAM-Audio 模型
    participant Disk as 本地儲存

    User->>GUI: 上傳音訊檔案
    User->>GUI: 輸入文字提示
    GUI->>Model: 傳送頻譜圖 + 文字嵌入
    Model->>Model: 基於擴散的分離
    Model-->>GUI: 回傳分離後的波形
    GUI-->>User: 顯示結果 + 匯出按鈕
    User->>GUI: 點擊匯出
    GUI->>Disk: 儲存 WAV/MP3 檔案