Tags

Optimization

Prompt Poet:Character.AI 的开源提示词工程框架
AI

Prompt Poet:Character.AI 的开源提示词工程框架

提示词工程已从一项专业技能演变为 AI 应用程序开发中的关键学科。好的提示词与优秀提示词之间的差异,决定了 LLM 应用程序是提供准确可靠的结果,还是产生不一致、容易出错的输出。Prompt Poet 由 Character.AI 开发,为这个过程带来了工程严谨性,提供了一个用于大规模设计 …

TensorRT-LLM:NVIDIA 的开源优化 LLM 推理库
AI

TensorRT-LLM:NVIDIA 的开源优化 LLM 推理库

将大型语言模型部署到生产环境中,不仅仅是把权重加载到 GPU 上那么简单。要达到可接受的吞吐量和延迟,您需要内核融合、注意力机制优化、内存管理和量化——所有这些都要针对您的特定硬件进行调整。NVIDIA 的 TensorRT-LLM 在一个开源库中提供了所有这些功能,从 NVIDIA …

TAG
CATEGORIES