Post

部落格

SoloSoft 關於軟體工程、Hugo、網站效能與多語系內容發佈的技術文章。

Xorbits Inference:可擴展的 LLM 服務平台
AI

Xorbits Inference:可擴展的 LLM 服務平台

在生產環境中部署大型語言模型與訓練它們是完全不同的挑戰。訓練需要大規模叢集和數週的運算時間,但可以容忍批次處理和可變吞吐量。生產推論需要一致的亞秒級延遲、彈性擴展以應對流量高峰、跨不同硬體配置的多模型管理,以及對每個請求的可觀測性。訓練好的模型與生產級服務基礎設施之間的差距是巨大的。

VeRL:字節跳動的 LLM 強化學習框架
AI

VeRL:字節跳動的 LLM 強化學習框架

2025-2026 年大型語言模型研究中最令人興奮的前沿並不是讓模型變得更大。而是透過強化學習讓它們變得更聰明。DeepSeek-R1 證明了 RL 訓練——特別是 GRPO(群組相對策略最佳化)——可以顯著提升模型的推理能力,實現與更大模型相匹敵的鏈式思考推理、自我修正和結構化問題解決。 …

Twinny:VS Code 的本地 LLM 推論
AI

Twinny:VS Code 的本地 LLM 推論

雲端依賴的 AI 工具與開發者隱私之間的矛盾已成為 AI 輔助軟體開發中最具決定性的辯論之一。GitHub Copilot 和 Cursor 等服務提供了令人印象深刻的程式碼補全功能,但它們需要將你的程式碼發送到外部伺服器。對於處理專有程式碼、在受監管行業工作或只是不願與雲端服務分享工作成 …

Streamdown:Vercel 的串流 Markdown 渲染器
開源

Streamdown:Vercel 的串流 Markdown 渲染器

LLM 驅動聊天介面的興起造成了一個獨特的使用者體驗問題:看著文字逐字元出現令人興奮,但看著部分渲染的 Markdown 閃爍和跳動卻令人沮喪。當 LLM 生成程式碼區塊、表格或巢狀清單時,標準的 Markdown 渲染器無法處理 Token 的增量到達。它們等待完整的輸出,然後一次性渲染 …

Pezzo:開源 LLM 營運平台
AI

Pezzo:開源 LLM 營運平台

在生產環境中管理 LLM 驅動的應用程式已成為 AI 工程中最具挑戰性的營運問題之一。部署 AI 功能的團隊面臨一系列問題:提示詞版本散落在程式碼庫和筆記本中,成本在沒有可視性的情況下失控,效能下降直到使用者投訴才被發現,以及模型更新破壞了精心調整的提示詞。LLMOps 這門學科正是為應對 …

Mongo-express:基於 Web 的 MongoDB 管理介面
資料庫

Mongo-express:基於 Web 的 MongoDB 管理介面

MongoDB 的原生命令列 shell(mongosh)功能強大,但並非日常資料庫管理最友善的介面。開發者經常發現自己需要一個視覺化工具來瀏覽集合、檢查文件、執行臨時查詢和管理索引——這些任務使用圖形化介面效率更高。雖然 MongoDB Compass 提供了優秀的桌面工具,但在某些情況 …

TAG