語言模型

ChatRWKV：挑戰 Transformer 的開源 100% RNN 語言模型

多年來，AI 社群一直處在一個廣為接受的假設之下：Transformer 架構——在里程碑式的「Attention Is All You Need」論文中首次提出——是建構大型語言模型的唯一可行途徑。遞歸神經網路（RNN）被認為已經過時——訓練太慢、太容易出現梯度消失、無法在規模上匹配 …