Wikipedia正在為AI開發人員提供數據以抵禦機器人刮板

維基百科管理AI資料抓取的新策略

維基百科透過維基媒體基金會，採取積極措施來管理AI資料抓取對其伺服器的影響。週三，他們宣佈與Google旗下的數據科學和機器學習平台Kaggle合作，推出一個測試版數據集。該數據集包含「結構化的維基百科英文和法文內容」，專為AI訓練目的量身打造。

該數據集現已在Kaggle上提供，專為AI開發者設計，簡化了存取機器可讀文章數據的過程。這包括從研究摘要、簡短描述到圖片連結、資訊框數據和各篇文章段落等內容。重要的是，這些數據採用開放授權，不包括參考資料或非文本元素（如音頻文件），確保其針對AI使用場景（如建模、微調和基準測試）進行了優化。

維基媒體的方法提供了結構良好的JSON格式維基百科內容，他們希望這將成為AI開發者相較於傳統抓取或解析原始文章文本更具吸引力的選項。此舉部分是為了回應AI機器人因頻寬消耗對維基百科伺服器造成的壓力。

維基媒體已與Google和Internet Archive等巨頭建立了內容共享協議。然而，與Kaggle的合作預計將使這些數據更容易為小型公司和獨立數據科學家所用，擴大維基百科內容的影響力和實用性。

Kaggle的貢獻

Kaggle的合作負責人Brenda Flynn對托管維基媒體的數據表示熱情。「作為機器學習社群尋找工具和測試的平台，Kaggle非常興奮能成為維基媒體基金會數據的托管者，」她表示。Kaggle的角色對於保持這些數據不僅可存取，且對機器學習社群相關且實用至關重要。

維基百科的這一策略舉措不僅旨在減輕其伺服器的負擔，還促進了與AI和機器學習社群更結構化且有益的關係。