大規模

ColossalAI：開源大規模 AI 訓練框架

訓練大型 AI 模型本質上是一個分散式計算問題。單個 70B 參數模型需要的記憶體超過任何 GPU 所能提供，而在合理時間內訓練它需要協調數百或數千個加速器協同工作。ColossalAI 是一個為解決此協調挑戰而構建的框架，提供從單一 GPU 到數千個 GPU 擴展訓練所需的並行原語。