Categories

Python

Langchain-Chatchat:開源知識庫問答系統與 LLM 整合
AI

Langchain-Chatchat:開源知識庫問答系統與 LLM 整合

組織累積了大量內部文件——技術手冊、政策文件、研究論文和操作指南。一直以來的挑戰是如何將這些靜態知識轉化為可對話查詢的形式。Langchain-Chatchat 提供了一個開源解決方案,將 LangChain 編排框架與 ChatGLM 對話式 AI 結合,實現基於文件的問答功能。

uv:Astral 的全能 Python 套件與專案管理器
Python

uv:Astral 的全能 Python 套件與專案管理器

Python 的套件生態系統長期以來分散在多個工具之間。需要安裝套件?用 pip。需要隔離環境?用 venv 或 virtualenv。需要依賴管理?用 Poetry 或 Pipenv。需要不同 Python 版本?用 pyenv。需要安裝 CLI 工具?用 pipx。uv 將整個工具鏈收 …

Ty:Astral 用 Rust 寫的極速 Python 型別檢查器
Python

Ty:Astral 用 Rust 寫的極速 Python 型別檢查器

Python 的型別檢查生態系統長期以來由 mypy 主導──它是率先為 Python 引入漸進型別的型別檢查器。但 mypy 基於 Python 的實作一直在大型程式碼庫的效能上苦苦掙扎。Ty 是 Astral 對這個問題的解答:一個完全用 Rust 編寫的 Python 型別檢查器和語 …

bitsandbytes:LLM 訓練與推論必備的 k-bit 量化函式庫
AI

bitsandbytes:LLM 訓練與推論必備的 k-bit 量化函式庫

大型語言模型已經遠遠超出了消費級硬體的記憶體容量。一個 700 億參數的模型在標準 16 位元精度下需要 140 GB 的 GPU 記憶體──遠遠超過最昂貴的消費級 GPU。bitsandbytes 就是彌補這個差距的函式庫,提供量化技術,使得在可負擔的硬體上載入、訓練和執行大型模型成為可 …

OmniParse:適用於 GenAI 管線的開源通用資料解析工具
AI

OmniParse:適用於 GenAI 管線的開源通用資料解析工具

現代 GenAI 應用程式會消費多種形式的資料——PDF、試算表、圖片、錄音和影片檔案。建立一個能攝取所有這些格式並產生乾淨、一致的結構化輸出的 RAG 管線,是一項重大的工程挑戰。OmniParse 透過提供一個通用資料攝取平台來解決這個問題,該平台可將任何非結構化資料轉換為結構化 …

TAG