Википедия предоставляет разработчикам искусственного интеллекта свои данные для отрыва от скребков бота

Новая стратегия Википедии по управлению соскобкой данных ИИ

Википедия, через Фонд Викимедии, делает упреждающий шаг для управления влиянием соскоба ИИ на своих серверах. В среду они объявили о сотрудничестве с Kaggle, платформой, принадлежащей Google, и посвященной науке о данных и машинном обучении, чтобы запустить бета -набор данных. Этот набор данных содержит «структурированное содержание Википедии на английском и французском языке», специально предназначенное для учебных целей.

Набор данных, который теперь доступен на Kaggle, был создан с учетом разработчиков ИИ, упрощая процесс доступа к машино читаемым статьям. Это включает в себя все, от резюме исследований и коротких описаний до ссылок на изображение, данные Infobox и различные разделы статьи. Важно отметить, что эти данные открыто лицензированы и не включают в себя ссылки или не текстовые элементы, такие как аудиофайлы, обеспечивая оптимизированные для таких вариантов использования искусственного интеллекта, как моделирование, точная настройка и сравнительный анализ.

Подход Wikimedia предлагает хорошо структурированный формат JSON содержания Википедии, который, как они надеются, станет более привлекательным вариантом для разработчиков искусственного интеллекта по сравнению с традиционным методом очистки или анализа необработанного текста статьи. Этот шаг частично в ответ на штамм, который боты ИИ надевают на серверы Википедии из -за их потребления полосы пропускания.

Wikimedia уже заключила соглашения об обмене контентом с такими гигантами, как Google и Интернет -архив. Тем не менее, ожидается, что партнерство с Kaggle сделает эти данные более доступными для небольших компаний и независимых ученых данных, расширяя охват и полезность содержания Википедии.

Что Kaggle приносит на стол

Бренда Флинн, руководитель партнеров Kaggle, выразила энтузиазм по поводу размещения данных Wikimedia. «Поскольку место, где сообщество машинного обучения приходит для инструментов и тестов, Kaggle чрезвычайно взволнована, чтобы стать хостом данных Фонда Викимедии», - заявила она. Роль Kaggle имеет решающее значение в поддержании этих данных не только доступными, но и актуальными и полезными для сообщества машинного обучения.

Этот стратегический шаг Википедии не только направлен на облегчение нагрузки на его серверы, но и способствует более структурированным и полезным отношениям с ИИ и сообществами машинного обучения.