Causal-Conv1d:驱动 Mamba 状态空间模型的 CUDA 优化内核
Transformer 架构已主宰深度学习多年,但一个新的挑战者已经出现:状态空间模型(SSM)。在最具影响力的 SSM 架构之一 Mamba 的核心,是一个名为 Causal-Conv1d 的、令人惊讶地简朴的 CUDA 内核库。由 Tri Dao(以 FlashAttention 闻名 …
Transformer 架构已主宰深度学习多年,但一个新的挑战者已经出现:状态空间模型(SSM)。在最具影响力的 SSM 架构之一 Mamba 的核心,是一个名为 Causal-Conv1d 的、令人惊讶地简朴的 CUDA 内核库。由 Tri Dao(以 FlashAttention 闻名 …