Trafilatura:適用於 LLM 資料集與研究的開源網頁文字擷取工具
從網頁中擷取乾淨、結構化的文字是 LLM 訓練資料集、研究語料庫和內容分析管線的基礎任務。Trafilatura 已成為此任務的黃金標準——這是一個 Python 函式庫,在開源文字擷取工具中持續取得最高的 F-Score,同時保持輕量、快速且易於整合。
從網頁中擷取乾淨、結構化的文字是 LLM 訓練資料集、研究語料庫和內容分析管線的基礎任務。Trafilatura 已成為此任務的黃金標準——這是一個 Python 函式庫,在開源文字擷取工具中持續取得最高的 F-Score,同時保持輕量、快速且易於整合。