bitsandbytes:LLM 訓練與推論必備的 k-bit 量化函式庫
大型語言模型已經遠遠超出了消費級硬體的記憶體容量。一個 700 億參數的模型在標準 16 位元精度下需要 140 GB 的 GPU 記憶體──遠遠超過最昂貴的消費級 GPU。bitsandbytes 就是彌補這個差距的函式庫,提供量化技術,使得在可負擔的硬體上載入、訓練和執行大型模型成為可 …
SoloSoft 關於軟體工程、Hugo、網站效能與多語系內容發佈的技術文章。
大型語言模型已經遠遠超出了消費級硬體的記憶體容量。一個 700 億參數的模型在標準 16 位元精度下需要 140 GB 的 GPU 記憶體──遠遠超過最昂貴的消費級 GPU。bitsandbytes 就是彌補這個差距的函式庫,提供量化技術,使得在可負擔的硬體上載入、訓練和執行大型模型成為可 …
當 Apple 在 WWDC 2025 上宣布 Containerization 時,它代表了一個重大的策略轉變:Apple 不僅提供一個容器工具,而是從底層開始為 macOS 建立原生的容器化堆疊。Containerization 是構成此堆疊程式化基礎的 Swift 套件,提供一個乾淨 …
多年來,在 macOS 上執行 Linux 容器一直需要一個 VM 層──Docker Desktop 的 Linux VM、Podman 的 podman-machine 或 Lima 基於 QEMU 的方法。這些解決方案可行,但會帶來開銷和複雜性。Apple Container 採取根 …
Claude Code 已成為最具能力的 AI 程式碼輔助工具之一,但其真正的潛力始終受限於您提供的知識和上下文。Anthropic Skills 完全消除了這項限制,它提供一個持續成長的預建、可重複使用的代理技能集合,將 Claude Code 的能力擴展到軟體開發的幾乎每一個面向。
影片生成和編輯傳統上由不同的模型處理——一個模型用於文字轉影片,另一個用於影片風格化,再一個用於修補。這種碎片化使得建立全面的影片製作管線變得困難,迫使從業者學習多個模型介面。VACE(Video All-to-All Creation and Editing)透過將所有影片創作和編輯任務 …
從網頁中擷取乾淨、結構化的文字是 LLM 訓練資料集、研究語料庫和內容分析管線的基礎任務。Trafilatura 已成為此任務的黃金標準——這是一個 Python 函式庫,在開源文字擷取工具中持續取得最高的 F-Score,同時保持輕量、快速且易於整合。