LlamaFactory:開源 LLM 微調框架
微調大型語言模型曾經是一個複雜、資源密集的過程,僅限於擁有大型 GPU 叢集的組織。LlamaFactory 使這項能力普及化,提供一個可存取的、功能豐富的框架,使在消費級硬體上微調數百種 LLM 架構變得實用。 由研究社群(hiyouga/LlamaFactory)創建,該框架已成長為最 …
微調大型語言模型曾經是一個複雜、資源密集的過程,僅限於擁有大型 GPU 叢集的組織。LlamaFactory 使這項能力普及化,提供一個可存取的、功能豐富的框架,使在消費級硬體上微調數百種 LLM 架構變得實用。 由研究社群(hiyouga/LlamaFactory)創建,該框架已成長為最 …
在完全使用自己的硬體上運行強大的語言模型,無需將資料發送到雲端 API 的夢想,曾經被認為對於大型科技公司以外的任何人來說都是不切實際的。llama.cpp 打破了這個假設。這個單一標頭檔的 C++ 實作已成為在本地運行 LLM 最受歡迎的工具,在幾乎所有硬體配置上都實現了 AI 計算的普 …
LLM 推理的格局主要由兩種方法塑造:具有完整 GPU 加速的重量級框架(如 PyTorch),或高度最佳化但複雜的引擎(如支援數百種模型架構的 llama.cpp)。Gemma.cpp 刻意選擇了第三條路徑——一個輕量級、最小依賴的 C++ 引擎,專門為 Google 的 Gemma 模 …
Transformer 架構自推出以來一直是序列處理的主導模型,但它有一個根本性的限制:自注意力機制的複雜度隨序列長度以 O(n^2) 增長。對於現代 AI 應用日益需要的長上下文——128K tokens、1M tokens 及以上——這個二次瓶頸變得難以負擔。Flash Linear …
向量搜尋已成為現代 AI 系統的基礎技術。無論是在 RAG 流程中尋找相似文件、在電子商務目錄中匹配產品圖像,還是為推薦系統檢索相關嵌入,高效搜尋數十億向量至關重要。FAISS——Meta 的 Facebook AI 相似性搜尋函式庫——是這項任務的黃金標準。
訓練大型 AI 模型本質上是一個分散式計算問題。單個 70B 參數模型需要的記憶體超過任何 GPU 所能提供,而在合理時間內訓練它需要協調數百或數千個加速器協同工作。ColossalAI 是一個為解決此協調挑戰而構建的框架,提供從單一 GPU 到數千個 GPU 擴展訓練所需的並行原語。