Tags

LLM

GPTQModel:適用於 GPU 和 CPU 的生產級 LLM 量化工具包
AI

GPTQModel:適用於 GPU 和 CPU 的生產級 LLM 量化工具包

大型語言模型功能強大,但其體積使得部署成本高昂。一個 700 億參數的 16 位元精確度模型需要 140GB 的 GPU 記憶體——遠超單一消費級 GPU 的容量。量化是主要的解決方案:降低數值精確度以縮小記憶體佔用並加速推論。由 ModelCloud 開發的 GPTQModel 是一個生 …

Open Parse:以視覺驅動的文件解析器,為 LLM 就緒的 RAG 管線而生
AI

Open Parse:以視覺驅動的文件解析器,為 LLM 就緒的 RAG 管線而生

RAG(檢索增強生成)生態系統已快速成熟,但有一個瓶頸始終存在:垃圾進,垃圾出。大多數文件解析工具在未理解文件視覺結構的情況下,將原始文字送入 LLM 管線,產生的區塊會將標題與其內容分離、將表格跨頁分割,並失去了使文件可讀的語義層級結構。Filimoa 的 Open Parse 從根源解 …

Easy Dataset:用於合成 LLM 微調資料的開源框架
AI

Easy Dataset:用於合成 LLM 微調資料的開源框架

微調大型語言模型已成為需要特定領域 AI 效能的組織不可或缺的手段,但這個過程始終受到一個關鍵資源的瓶頸:高品質的訓練資料。手動建立指令微調資料集既昂貴又緩慢,且需要通常短缺的領域專業知識。Easy Dataset,ConardLi 開發的開源框架,透過提供一個基於 GUI 的系統,從非結 …

TAG