Post

博客

SoloSoft 关于软件工程、Hugo、网站性能与多语言内容发布的技术文章。

HippoRAG:受神经生物学启发的 LLM 长期记忆(NeurIPS 2024)
AI

HippoRAG:受神经生物学启发的 LLM 长期记忆(NeurIPS 2024)

检索增强生成(RAG)已成为将 LLM 输出锚定于外部知识的标准方法。但标准 RAG 有一个根本限制:它将每个查询视为独立事件,没有对过去检索的记忆,也无法跨文档连接信息。HippoRAG 从人类大脑的海马体中汲取灵感来克服这一限制,创建了一个能大幅改善多跳问答的长期记忆系统。

Hermes Agent:Nous Research 的自我改进 AI 代理,支持 17 个平台
AI

Hermes Agent:Nous Research 的自我改进 AI 代理,支持 17 个平台

大多数 AI 代理是静态的——它们的行为在部署时就由系统提示和模型权重固定下来。当它们遇到未曾设计过的新情况时会发生什么?它们会失败,然后开发者必须手动更新代理。Nous Research 的 Hermes Agent 采用了一种根本不同的方法:它从自己的经验中学习,并随时间自动改进自身行 …

GPTQModel:适用于 GPU 和 CPU 的生产级 LLM 量化工具包
AI

GPTQModel:适用于 GPU 和 CPU 的生产级 LLM 量化工具包

大型语言模型功能强大,但其体积使得部署成本高昂。一个 700 亿参数的 16 位精度模型需要 140GB 的 GPU 内存——远超单一消费级 GPU 的容量。量化是主要的解决方案:降低数值精度以缩小内存占用并加速推理。由 ModelCloud 开发的 GPTQModel 是一个生产级量化工 …

Dockerc:将 Docker 容器镜像编译为独立可移植二进制文件
Open Source

Dockerc:将 Docker 容器镜像编译为独立可移植二进制文件

Docker 容器解决了「在我机器上能跑」的问题,但却引入了一个新问题:「在安装了 Docker 的机器上能跑」。容器需要 Docker daemon、containerd,或至少需要一个容器运行时。对于分发命令行工具、桌面应用程序或部署产物来说,这种依赖是一项负担。Dockerc 采用了 …

LTX-2:Lightricks 开源 4K 音频-视频基础模型
AI

LTX-2:Lightricks 开源 4K 音频-视频基础模型

LTX-2 是首个开源基于 Diffusion Transformer(DiT)的音频-视频基础模型,能够以高达每秒 50 帧的速度生成同步的 4K 音频-视频内容。 仓库:github.com/Lightricks/LTX-2 架构 功能 LTX-2 (DiT) 传统 U-Net 模型 …

TAG
CATEGORIES