Wikipedia正在为AI开发人员提供数据以抵御机器人刮板

维基百科管理AI数据抓取的新策略
维基百科通过维基媒体基金会采取积极措施,管理AI数据抓取对其服务器的影响。周三,他们宣布与Kaggle合作,Kaggle是Google旗下的一个专注于数据科学和机器学习的平台,共同推出一个测试版数据集。该数据集包含“结构化的维基百科内容,涵盖英语和法语”,专门为AI训练目的量身定制。
该数据集现已在Kaggle上提供,专为AI开发者设计,简化了获取机器可读文章数据的流程。这包括从研究摘要和简短描述到图片链接、信息框数据以及各种文章部分的全部内容。重要的是,这些数据采用开放许可,不包括参考文献或非文本元素,如音频文件,确保其针对AI用例(如建模、微调和基准测试)进行了优化。
维基媒体的方法提供了维基百科内容的结构化JSON格式,他们希望这对AI开发者来说是比传统抓取或解析原始文章文本更具吸引力的选择。此举部分是为了应对AI机器人因带宽消耗对维基百科服务器造成的压力。
维基媒体已与Google和互联网档案馆等巨头建立了内容共享协议。然而,与Kaggle的合作预计将使这些数据更容易为小型公司和独立数据科学家所用,扩大了维基百科内容的覆盖范围和实用性。
Kaggle的贡献
Kaggle的合作负责人布伦达·弗林(Brenda Flynn)对托管维基媒体的数据表示了热情。“作为机器学习社区获取工具和测试的平台,Kaggle非常兴奋能成为维基媒体基金会数据的托管方,”她说道。Kaggle的角色在保持这些数据的可访问性、相关性和对机器学习社区的实用性方面至关重要。
维基百科的这一战略举措不仅旨在减轻其服务器的负担,还促进了与AI和机器学习社区之间更结构化、更互利的关系。
相关文章
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
亚马逊推出“Alexa for Shopping”,同时将Rufus边缘化
亚马逊推出了“Alexa for Shopping”,将 Rufus 购物聊天机器人 Alexa+ 整合到应用程序、网站和 Echo Show 设备中。该助手回答产品查询、比较商品、跟踪价格,并支持购物提醒。它还处理计划中的购物操作和符合条件的自动购买。据该公司称,“Alexa for Shopping”将 Rufus 的产品专业知识与 Alexa+ 的个性化助手上下文相结合。亚马逊表示,Rufus 在 2025 年协助了超过 3 亿客户进行产品研究、比较和购买。GeekWire 报道称,
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
相关专题推荐
评论 (3)
0/500
Me pregunto si esto realmente resolverá el problema de los scrapers 🤔. Wikipedia dando sus datos podría ser un arma de doble filo, pero al menos están intentando algo diferente. ¡Bravo por la iniciativa!
Wow, Wikipedia teaming up with Kaggle to tackle AI scrapers? Smart move! It's like building a digital fortress to protect their data. Curious how this will impact AI model training in the long run. 🛡️

维基百科管理AI数据抓取的新策略
维基百科通过维基媒体基金会采取积极措施,管理AI数据抓取对其服务器的影响。周三,他们宣布与Kaggle合作,Kaggle是Google旗下的一个专注于数据科学和机器学习的平台,共同推出一个测试版数据集。该数据集包含“结构化的维基百科内容,涵盖英语和法语”,专门为AI训练目的量身定制。
该数据集现已在Kaggle上提供,专为AI开发者设计,简化了获取机器可读文章数据的流程。这包括从研究摘要和简短描述到图片链接、信息框数据以及各种文章部分的全部内容。重要的是,这些数据采用开放许可,不包括参考文献或非文本元素,如音频文件,确保其针对AI用例(如建模、微调和基准测试)进行了优化。
维基媒体的方法提供了维基百科内容的结构化JSON格式,他们希望这对AI开发者来说是比传统抓取或解析原始文章文本更具吸引力的选择。此举部分是为了应对AI机器人因带宽消耗对维基百科服务器造成的压力。
维基媒体已与Google和互联网档案馆等巨头建立了内容共享协议。然而,与Kaggle的合作预计将使这些数据更容易为小型公司和独立数据科学家所用,扩大了维基百科内容的覆盖范围和实用性。
Kaggle的贡献
Kaggle的合作负责人布伦达·弗林(Brenda Flynn)对托管维基媒体的数据表示了热情。“作为机器学习社区获取工具和测试的平台,Kaggle非常兴奋能成为维基媒体基金会数据的托管方,”她说道。Kaggle的角色在保持这些数据的可访问性、相关性和对机器学习社区的实用性方面至关重要。
维基百科的这一战略举措不仅旨在减轻其服务器的负担,还促进了与AI和机器学习社区之间更结构化、更互利的关系。
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
Me pregunto si esto realmente resolverá el problema de los scrapers 🤔. Wikipedia dando sus datos podría ser un arma de doble filo, pero al menos están intentando algo diferente. ¡Bravo por la iniciativa!
Wow, Wikipedia teaming up with Kaggle to tackle AI scrapers? Smart move! It's like building a digital fortress to protect their data. Curious how this will impact AI model training in the long run. 🛡️





首页






