ChatRWKV:挑戰 Transformer 的開源 100% RNN 語言模型
多年來,AI 社群一直處在一個廣為接受的假設之下:Transformer 架構——在里程碑式的「Attention Is All You Need」論文中首次提出——是建構大型語言模型的唯一可行途徑。遞歸神經網路(RNN)被認為已經過時——訓練太慢、太容易出現梯度消失、無法在規模上匹配 …
多年來,AI 社群一直處在一個廣為接受的假設之下:Transformer 架構——在里程碑式的「Attention Is All You Need」論文中首次提出——是建構大型語言模型的唯一可行途徑。遞歸神經網路(RNN)被認為已經過時——訓練太慢、太容易出現梯度消失、無法在規模上匹配 …
瀏覽不熟悉的程式碼庫是軟體開發中最耗時的任務之一。像 grep 這樣的傳統工具功能強大,但需要你確切知道自己在找什麼。IDE 搜尋更好一些,但僅限於詞彙模式和符號導航。Bloop 徹底重新構想了程式碼搜尋:它是一個以 Rust 撰寫的開源 AI 驅動程式碼搜尋引擎,讓開發者可以使用自然語言 …
建立一個生產級的檢索增強生成 (RAG) 管線涉及許多決策——使用哪個嵌入模型、哪個向量資料庫、如何分割文件,以及至關重要的,如何對檢索結果進行排序。最終的排序步驟通常決定了平庸答案與優秀答案之間的差異。Rerankers 是來自 AnswerDotAI(FastAI 背後的團隊)的開源 …
配備 M 系列晶片——從 M1 到最新的 M4 Ultra——的 Apple Silicon Mac 擁有非凡的運算能力,特別是在機器學習工作負載方面。其統一記憶體架構允許模型存取大量快速記憶體,而無需傳統 CPU-GPU 資料傳輸的瓶頸。MLX-Audio 是一個基於 Apple MLX …
大型語言模型供應商的快速增長為開發者帶來了新的挑戰:每個供應商都有自己的 API 格式、認證方法、定價模型和功能集。與多個供應商整合——甚至是在它們之間切換——傳統上需要重寫大量的整合程式碼。LiteLLM 通過提供一個統一的、OpenAI 相容的介面來解決這個問題,該介面可與超過 100 …
AI 輔助軟體開發的格局已迅速演變,但很少有專案對當前這一代程式碼生成工具產生如此大的影響,如同 GPT Engineer 一般。由 Anton Osika 於 2023 年建立,這個開源專案開創了規格驅動的 AI 程式碼生成概念——用自然語言描述你想要的東西,然後讓 AI 從頭開始建構它 …