大规模

ColossalAI：开源大规模 AI 训练框架

ColossalAI 提供从单一 GPU 到数千个 GPU 扩展训练所需的并行原语。 graph TD A[模型 + 数据] --> B{并行策略} B --> C[数据并行\n跨设备批次分割] B --> D[张量并行\n层内操作分割] B --> E[流水线并行 …