GNN-RAG：圖神經網路增強的檢索增強生成

檢索增強生成已成為將 LLM 回應建立在事實知識上的標準方法。但標準 RAG 有一個眾所周知的限制：它在處理需要跨多個文件或實體連接資訊的多跳問題時表現不佳。當一個問題問到「電話發明者出生國家的首都是什麼？」時，答案需要在知識圖譜中追蹤一條路徑——這是平面文字檢索難以處理的。GNN-RAG 透過將圖神經網路整合到 RAG 管道中來解決這個問題。

由研究員 cmavro 開發，GNN-RAG 代表了兩種強大 AI 典範的融合：圖神經網路的結構化推理和大型語言模型的生成流暢性。核心見解在於，許多複雜問題需要標準密集檢索無法捕捉的關係推理。透過將檢索到的資訊建模為圖，並應用 GNN 訊息傳遞在連接的實體之間傳播資訊，GNN-RAG 在建構更豐富的上下文表徵後再將其傳遞給 LLM。

該專案在 AI 研究社群中引起關注，因為它幾個多跳問答基準上取得了最先進的結果，同時保持了計算效率。它證明了檢索管道本身可以透過圖結構化計算變得更智慧。

GNN-RAG 的圖感知檢索如何運作？

GNN-RAG 管道在文件檢索和 LLM 生成之間添加了一個圖推理層。

graph TD
    A[多跳問題] --> B[初始檢索\n密集 + 稀疏搜尋]
    B --> C[實體與關係提取]
    C --> D[(知識子圖)]
    D --> E[GNN 訊息傳遞\nK 層]
    E --> F[節點表徵\n以圖上下文豐富化]
    F --> G[上下文聚合\nTop-K 節點摘要]
    G --> H[LLM 答案生成]
    H --> I[基於事實的回答]
    D --> J[外部知識圖譜\nWikidata / DBpedia]
    J --> D

關鍵創新在於 GNN 訊息傳遞階段。子圖中的每個節點從其文字內容的初始表徵開始。透過多輪訊息傳遞，節點表徵根據其鄰居進行更新，捕捉平面檢索方法看不見的關係上下文。

GNN-RAG 在基準資料集上表現如何？

該專案報告了與基準 RAG 方法相比，在多跳推理任務上的顯著改進。

這些改進在資料集上是一致的，表明圖增強方法提供了普遍的好處，而非針對特定基準進行調整。

關鍵技術組件有哪些？

GNN-RAG 系統由幾個可以獨立配置的模組化組件構成。

模組化設計允許研究員獨立實驗不同的 GNN 架構和檢索策略。GNN 編碼器支援多種訊息傳遞方案，包括圖卷積網路、圖注意力網路和 GraphSAGE。

常見問題

什麼是 GNN-RAG？ GNN-RAG 是一個研究專案，結合圖神經網路（GNN）與檢索增強生成（RAG），以改善知識圖譜上的多跳推理。它使用 GNN 在圖結構中傳播資訊，然後將豐富化後的表徵饋入 LLM 進行答案生成。

GNN-RAG 如何改進標準 RAG？ 標準 RAG 獨立檢索文件或文字區塊，並將其作為平面上下文傳遞給 LLM。GNN-RAG 更進一步，將檢索到的資訊表示為圖，使用 GNN 訊息傳遞來建模實體之間的關係，並生成利用這種關係結構的答案。

GNN-RAG 支援哪些知識圖譜？ GNN-RAG 可與多種知識圖譜格式協作，包括 Wikidata、DBpedia 以及自訂領域特定圖譜。系統還可以在檢索階段從非結構化文字中提取實體和關係，動態建構圖譜。

評估使用了哪些資料集？ GNN-RAG 已在多跳問答基準上進行評估，包括 HotpotQA、2WikiMultihopQA 和 MuSiQue，以及知識圖譜特定基準如 WebQSP 和 CWQ。結果顯示其持續優於純 RAG 和純圖譜方法。

GNN-RAG 可以與任何 LLM 搭配使用嗎？ 可以，GNN-RAG 是模型不可知的，可以與任何預訓練的 LLM 結合。GNN 增強的檢索上下文作為提示的一部分饋入 LLM，因此它與開源模型和 API 型 LLM 都能相容，無需修改。

延伸閱讀

• GNN-RAG GitHub 倉庫 – 原始碼、評估腳本和預訓練模型
• HotpotQA 資料集 – 用於評估的多跳問答資料集
• 圖神經網路概述 – Distill.pub 對 GNN 和訊息傳遞的介紹