GPTQModel:适用于 GPU 和 CPU 的生产级 LLM 量化工具包
大型语言模型功能强大,但其体积使得部署成本高昂。一个 700 亿参数的 16 位精度模型需要 140GB 的 GPU 内存——远超单一消费级 GPU 的容量。量化是主要的解决方案:降低数值精度以缩小内存占用并加速推理。由 ModelCloud 开发的 GPTQModel 是一个生产级量化工 …
大型语言模型功能强大,但其体积使得部署成本高昂。一个 700 亿参数的 16 位精度模型需要 140GB 的 GPU 内存——远超单一消费级 GPU 的容量。量化是主要的解决方案:降低数值精度以缩小内存占用并加速推理。由 ModelCloud 开发的 GPTQModel 是一个生产级量化工 …
LTX-2 是首个开源基于 Diffusion Transformer(DiT)的音频-视频基础模型,能够以高达每秒 50 帧的速度生成同步的 4K 音频-视频内容。 仓库:github.com/Lightricks/LTX-2 架构 功能 LTX-2 (DiT) 传统 U-Net 模型 …
LTX Desktop 是一款开源桌面应用程序,将 LTX 模型家族封装成完整、用户友好的视频生成和编辑体验。 仓库:github.com/Lightricks/LTX-Desktop 与 Web 工具比较 功能 LTX Desktop Web 端 AI 视频工具 处理 本地(你的 …
LayoutParser 是为了终结文档处理混乱而建立的开源深度学习工具包。它提供了用于文档图像分析任务的统一接口,包括布局检测、OCR 集成和视觉信息提取。 仓库:github.com/Layout-Parser/layout-parser 核心功能 功能 描述 后端选项 布局检测 检测 …
BELLE(Be Everyone’s Large Language model Engine)是链家科技为了缩小中文与英文大语言模型差距而创建的开源项目。 仓库:github.com/LianjiaTech/BELLE 与其他中文 LLM 比较 差异点 BELLE 其他中文 …
DeepSeek R1-Zero 在 2025 年 1 月发布时被广泛认为是一项突破。该模型证明了纯粹的强化学习——无需任何人类推理示例的监督式微调——就能产生高级思维链推理、自我修正,甚至令人惊讶的「啊哈时刻」,模型在对话中途独立发现了更好的推理策略。但问题在于:训练基础设施被认为需要大 …