Tags

LLM

GPTQModel:适用于 GPU 和 CPU 的生产级 LLM 量化工具包
AI

GPTQModel:适用于 GPU 和 CPU 的生产级 LLM 量化工具包

大型语言模型功能强大,但其体积使得部署成本高昂。一个 700 亿参数的 16 位精度模型需要 140GB 的 GPU 内存——远超单一消费级 GPU 的容量。量化是主要的解决方案:降低数值精度以缩小内存占用并加速推理。由 ModelCloud 开发的 GPTQModel 是一个生产级量化工 …

Open Parse:以视觉驱动的文档解析器,为 LLM 就绪的 RAG 管道而生
AI

Open Parse:以视觉驱动的文档解析器,为 LLM 就绪的 RAG 管道而生

RAG(检索增强生成)生态系统已快速成熟,但有一个瓶颈始终存在:垃圾进,垃圾出。大多数文档解析工具在未理解文档视觉结构的情况下,将原始文本送入 LLM 管道,产生的区块会将标题与其内容分离、将表格跨页分割,并失去了使文档可读的语义层级结构。Filimoa 的 Open Parse 从根源解 …

Flowise:用于构建 LLM 应用与 AI 代理的开源低代码平台
AI

Flowise:用于构建 LLM 应用与 AI 代理的开源低代码平台

2026 年的 AI 应用领域存在一个矛盾:底层模型已变得异常强大,但围绕它们构建生产应用仍然需要大量的技术专业知识。Flowise 以一种已吸引超过 48,000 个 GitHub 星标并获得 Y Combinator 支持的方法来弥合这一差距——一个可视化、拖放式平台,将 …

Easy Dataset:用于合成 LLM 微调数据的开源框架
AI

Easy Dataset:用于合成 LLM 微调数据的开源框架

微调大型语言模型已成为需要特定领域 AI 性能的组织不可或缺的手段,但这个过程始终受到一个关键资源的瓶颈:高质量的训���数据。手动创建指令微调数据集既昂贵又缓慢,且需要通常短缺的领域专业知识。Easy Dataset,ConardLi 开发的开源框架,通过提供一个基于 GUI 的系统,从 …

TAG
CATEGORIES