Tags

Flash-Linear-Attention

Flash Linear Attention:Transformer 的高效注意力機制
AI

Flash Linear Attention:Transformer 的高效注意力機制

Transformer 架構自推出以來一直是序列處理的主導模型,但它有一個根本性的限制:自注意力機制的複雜度隨序列長度以 O(n^2) 增長。對於現代 AI 應用日益需要的長上下文——128K tokens、1M tokens 及以上——這個二次瓶頸變得難以負擔。Flash Linear …

TAG