Tags

推理

Xorbits Inference:可扩展的 LLM 服务平台
AI

Xorbits Inference:可扩展的 LLM 服务平台

在生产环境中部署大型语言模型与训练它们是完全不同的挑战。训练需要大规模集群和数周的计算时间,但可以容忍批处理和可变吞吐量。生产推理需要一致的亚秒级延迟、弹性扩展以应对流量高峰、跨不同硬件配置的多模型管理,以及对每个请求的可观测性。训练好的模型与生产级服务基础设施之间的差距是巨大的。

X-R1:开源推理模型探索
AI

X-R1:开源推理模型探索

语言模型能够通过强化学习——而无需人类示范——发展出复杂推理能力的这一发现,是 2024 年和 2025 年 AI 研究中最令人惊讶的结果之一。DeepSeek R1 表明,使用 RL 训练的模型可以学会逐步思考,产生思维链推理,从而在数学、逻辑和编程任务上大幅提升表现。X-R1 是一个探 …

TinyZero:用不到 30 美元重现 DeepSeek R1-Zero 的强化学习推理
AI

TinyZero:用不到 30 美元重现 DeepSeek R1-Zero 的强化学习推理

DeepSeek R1-Zero 在 2025 年 1 月发布时被广泛认为是一项突破。该模型证明了纯粹的强化学习——无需任何人类推理示例的监督式微调——就能产生高级思维链推理、自我修正,甚至令人惊讶的「啊哈时刻」,模型在对话中途独立发现了更好的推理策略。但问题在于:训练基础设施被认为需要大 …

TAG
CATEGORIES