GPTQModel:適用於 GPU 和 CPU 的生產級 LLM 量化工具包
大型語言模型功能強大,但其體積使得部署成本高昂。一個 700 億參數的 16 位元精確度模型需要 140GB 的 GPU 記憶體——遠超單一消費級 GPU 的容量。量化是主要的解決方案:降低數值精確度以縮小記憶體佔用並加速推論。由 ModelCloud 開發的 GPTQModel 是一個生 …
大型語言模型功能強大,但其體積使得部署成本高昂。一個 700 億參數的 16 位元精確度模型需要 140GB 的 GPU 記憶體——遠超單一消費級 GPU 的容量。量化是主要的解決方案:降低數值精確度以縮小記憶體佔用並加速推論。由 ModelCloud 開發的 GPTQModel 是一個生 …
LLaMA-VID(大型語言與影片助手)是 ECCV 2024 的研究專案,針對 LLM 影片理解中的根本瓶頸:Token 效率。雖然現代 LLM 擁有 128K 到 200K Token 的上下文視窗,但先前的多模態方法每個影片幀消耗 100 到 500 個 Token,使得即使是短暫的 …
RAG(檢索增強生成)生態系統已快速成熟,但有一個瓶頸始終存在:垃圾進,垃圾出。大多數文件解析工具在未理解文件視覺結構的情況下,將原始文字送入 LLM 管線,產生的區塊會將標題與其內容分離、將表格跨頁分割,並失去了使文件可讀的語義層級結構。Filimoa 的 Open Parse 從根源解 …
2026 年的 AI 應用程式領域存在一個矛盾:底層模型已變得異常強大,但圍繞它們建構生產應用程式仍然需要大量的技術專業知識。Flowise 以一種已吸引超過 48,000 個 GitHub 星星並獲得 Y Combinator 支持的方法來彌合這一差距——一個視覺化、拖放式平台,將 …
FalkorDB 是一款超快速、開源的多租戶屬性圖形資料庫,專為 LLM 知識圖譜與 GraphRAG(基於圖形的檢索增強生成)打造。作為 RedisGraph 的直接繼任者(Redis Inc. 於 2023 年停止維護),FalkorDB 已被越來越多需要在大型語言模型時代使用優化圖形 …
微調大型語言模型已成為需要特定領域 AI 效能的組織不可或缺的手段,但這個過程始終受到一個關鍵資源的瓶頸:高品質的訓練資料。手動建立指令微調資料集既昂貴又緩慢,且需要通常短缺的領域專業知識。Easy Dataset,ConardLi 開發的開源框架,透過提供一個基於 GUI 的系統,從非結 …