Wikipedia正在为AI开发人员提供数据以抵御机器人刮板

维基百科管理AI数据抓取的新策略

维基百科通过维基媒体基金会采取积极措施，管理AI数据抓取对其服务器的影响。周三，他们宣布与Kaggle合作，Kaggle是Google旗下的一个专注于数据科学和机器学习的平台，共同推出一个测试版数据集。该数据集包含“结构化的维基百科内容，涵盖英语和法语”，专门为AI训练目的量身定制。

该数据集现已在Kaggle上提供，专为AI开发者设计，简化了获取机器可读文章数据的流程。这包括从研究摘要和简短描述到图片链接、信息框数据以及各种文章部分的全部内容。重要的是，这些数据采用开放许可，不包括参考文献或非文本元素，如音频文件，确保其针对AI用例（如建模、微调和基准测试）进行了优化。

维基媒体的方法提供了维基百科内容的结构化JSON格式，他们希望这对AI开发者来说是比传统抓取或解析原始文章文本更具吸引力的选择。此举部分是为了应对AI机器人因带宽消耗对维基百科服务器造成的压力。

维基媒体已与Google和互联网档案馆等巨头建立了内容共享协议。然而，与Kaggle的合作预计将使这些数据更容易为小型公司和独立数据科学家所用，扩大了维基百科内容的覆盖范围和实用性。

Kaggle的贡献

Kaggle的合作负责人布伦达·弗林（Brenda Flynn）对托管维基媒体的数据表示了热情。“作为机器学习社区获取工具和测试的平台，Kaggle非常兴奋能成为维基媒体基金会数据的托管方，”她说道。Kaggle的角色在保持这些数据的可访问性、相关性和对机器学习社区的实用性方面至关重要。

维基百科的这一战略举措不仅旨在减轻其服务器的负担，还促进了与AI和机器学习社区之间更结构化、更互利的关系。