Post

博客

SoloSoft 关于软件工程、Hugo、网站性能与多语言内容发布的技术文章。

Xorbits Inference:可扩展的 LLM 服务平台
AI

Xorbits Inference:可扩展的 LLM 服务平台

在生产环境中部署大型语言模型与训练它们是完全不同的挑战。训练需要大规模集群和数周的计算时间,但可以容忍批处理和可变吞吐量。生产推理需要一致的亚秒级延迟、弹性扩展以应对流量高峰、跨不同硬件配置的多模型管理,以及对每个请求的可观测性。训练好的模型与生产级服务基础设施之间的差距是巨大的。

VeRL:字节跳动的 LLM 强化学习框架
AI

VeRL:字节跳动的 LLM 强化学习框架

2025-2026 年大型语言模型研究中最令人兴奋的前沿并不是让模型变得更大。而是通过强化学习让它们变得更聪明。DeepSeek-R1 证明了 RL 训练——特别是 GRPO(群组相对策略优化)——可以显著提升模型的推理能力,实现与更大模型相匹敌的链式思考推理、自我修正和结构化问题解决。字 …

Twinny:VS Code 的本地 LLM 推理
AI

Twinny:VS Code 的本地 LLM 推理

云依赖的 AI 工具与开发者隐私之间的矛盾已成为 AI 辅助软件开发中最具决定性的辩论之一。GitHub Copilot 和 Cursor 等服务提供了令人印象深刻的代码补全功能,但它们需要将你的代码发送到外部服务器。对于处理专有代码、在受监管行业工作或只是不愿与云服务分享工作成果的开发者 …

Streamdown:Vercel 的流式 Markdown 渲染器
开源

Streamdown:Vercel 的流式 Markdown 渲染器

LLM 驱动聊天界面的兴起造成了一个独特的用户体验问题:看着文本逐字符出现令人兴奋,但看着部分渲染的 Markdown 闪烁和跳动却令人沮丧。当 LLM 生成代码块、表格或嵌套列表时,标准的 Markdown 渲染器无法处理 Token 的增量到达。它们等待完整的输出,然后一次性渲染全部 …

Pezzo:开源 LLM 运营平台
AI

Pezzo:开源 LLM 运营平台

在生产环境中管理 LLM 驱动的应用程序已成为 AI 工程中最具挑战性的运营问题之一。部署 AI 功能的团队面临一系列问题:提示词版本散落在代码库和笔记本中,成本在没有可见性的情况下失控,性能下降直到用户投诉才被发现,以及模型更新破坏了精心调整的提示词。LLMOps 这门学科正是为应对这些 …

Mongo-express:基于 Web 的 MongoDB 管理界面
数据库

Mongo-express:基于 Web 的 MongoDB 管理界面

MongoDB 的原生命令行 shell(mongosh)功能强大,但并非日常数据库管理最友好的界面。开发者经常发现自己需要一个可视化工具来浏览集合、检查文档、运行临时查询和管理索引——这些任务使用图形化界面效率更高。虽然 MongoDB Compass 提供了优秀的桌面工具,但在某些情况 …

TAG
CATEGORIES