Wikipedia gibt KI -Entwicklern seine Daten, um Bot -Scrapers abzuwehren

Die neue Strategie von Wikipedia zur Verwaltung von KI -Datenkratzen

Wikipedia macht durch die Wikimedia Foundation einen proaktiven Schritt, um die Auswirkungen von KI -Daten zu verwalten, die auf seine Server abkratzen. Am Mittwoch kündigten sie eine Zusammenarbeit mit Kaggle, einer Plattform, die Google gehörte und sich der Data Science und maschinellem Lernen befasst, ein Beta -Datensatz ein. Dieser Datensatz enthält "strukturierte Wikipedia -Inhalte in Englisch und Französisch", die speziell für KI -Trainingszwecke zugeschnitten sind.

Der Datensatz, der jetzt auf Kaggle verfügbar ist, wurde mit Berücksichtigung von KI-Entwicklern hergestellt und vereinfacht den Prozess des Zugriffs maschinenlesbarer Artikeldaten. Dies umfasst alles von Forschungszusammenfassungen und kurzen Beschreibungen bis hin zu Bildlinks, Infobox -Daten und verschiedenen Artikelabschnitten. Wichtig ist, dass diese Daten offen lizenziert sind und keine Referenzen oder nicht-textuelle Elemente wie Audiodateien enthalten, um sicherzustellen, dass sie für KI-Anwendungsfälle wie Modellierung, Feinabstimmung und Benchmarking optimiert sind.

Der Ansatz von Wikimedia bietet ein gut strukturiertes JSON-Format von Wikipedia-Inhalten, von dem sie hoffen, dass sie für KI-Entwickler eine attraktivere Option im Vergleich zu der traditionellen Methode zum Abkratzen oder Parsen von Rohartikeln sind. Dieser Schritt ist teilweise auf die Belastung reagiert, die AI -Bots aufgrund ihres Bandbreitenverbrauchs auf Wikipedia -Server aufgenommen haben.

Wikimedia hat bereits Inhalte -Sharing -Vereinbarungen mit Riesen wie Google und dem Internet -Archiv geschlossen. Es wird jedoch erwartet, dass die Partnerschaft mit Kaggle diese Daten für kleinere Unternehmen und unabhängige Datenwissenschaftler zugänglicher macht und die Reichweite und den Nutzen des Inhalts von Wikipedia erweitert.

Was Kaggle an den Tisch bringt

Brenda Flynn, Kaggle's Partnerships -Leiterin, äußerte die Begeisterung für die Hosting von Wikimedia -Daten. "Da der Ort die Community für maschinelles Lernen für Tools und Tests kommt, freut sich Kaggle sehr, der Host für die Daten der Wikimedia Foundation zu sein", erklärte sie. Die Rolle von Kaggle ist entscheidend, um diese Daten nicht nur zugänglich zu halten, sondern auch relevant und nützlich für die Community für maschinelles Lernen.

Dieser strategische Schritt von Wikipedia zielt nicht nur darauf ab, die Ladung seiner Server zu lindern, sondern auch eine strukturiertere und vorteilhaftere Beziehung zur KI- und maschinellen Lerngemeinschaften zu fördern.