选项
首页
新闻
AI机器人刮擦您的数据?这种免费工具使那些讨厌的爬行者逐步划定

AI机器人刮擦您的数据?这种免费工具使那些讨厌的爬行者逐步划定

2025-04-15
162

AI机器人刮擦您的数据?这种免费工具使那些讨厌的爬行者逐步划定

人工智能生成内容的兴起,通常被称为合成媒体,带来了若干挑战,包括虚假信息的传播、艺术家作品的未经授权使用以及在线内容信任度的下降。然而,Cloudflare 可能找到了一种人工智能的有益应用,旨在保护原创内容免受人工智能公司的利用。

周三,Cloudflare 推出了 AI Labyrinth,这是一款旨在使用人工智能生成内容来“减缓、迷惑和浪费未经授权的人工智能爬虫资源”的工具。

近期研究显示,人工智能聊天机器人,如 ChatGPT 和 Perplexity,仍然会访问那些已阻止其爬虫的网站内容。Cloudflare 在其公告中指出,这些爬虫每天对其网络产生超过 500 亿次请求,占其观察到的所有网络请求的不到 1%。阻止这些爬虫的方法至关重要。

Cloudflare 解释说,虽然他们拥有多种工具来识别和阻止未经授权的人工智能爬取,但简单地阻止这些机器人可能会警告攻击者,导致持续的规避策略循环。他们希望设计一种新方法来威慑这些不受欢迎的机器人,而不让它们察觉已被检测到。

当 Cloudflare 检测到未经授权的爬取请求时,AI Labyrinth 不会直接阻止爬虫;相反,它会链接到多个人工智能生成的网页,这些网页看似真实,足以欺骗爬虫认为它们是合法的。这样,爬虫会错误地认为它成功抓取了所需内容,而网站的真实数据仍然受到保护。此外,这种方法会消耗爬虫的计算资源,Cloudflare 认为这是一个优势。

Cloudflare 的公告详细说明,该工具在检测到不当机器人活动时会自动部署一组人工智能生成的链接页面,无需客户设置自定义规则。

为了创建这些页面,Cloudflare 利用 Workers AI 和一个开源模型,预先生成关于各种主题的独特、类人合成页面。此预生成流程不仅对内容进行净化以防止 XSS 漏洞,还将其存储在 R2 中以便更快访问。

AI Labyrinth 仅向人工智能爬虫显示这些链接,确保内容对人类访问者不可见,且不会影响网站结构、外观或 SEO。

Cloudflare 强调其致力于不助长虚假信息的传播,确保生成的内容是基于事实且与科学主题相关,但与被爬取的网站无关。

此外,Cloudflare 将 AI Labyrinth 视为一个潜在的诱捕器,用于识别新的非法爬虫。他们指出,真正的人类访问者不太可能浏览“人工智能生成的无意义迷宫”,从而使该工具能够根据点击模式检测新机器人。这一洞察将帮助 AI Labyrinth 更有效地识别恶意行为者。

由于机器人已变得擅长检测传统诱捕技术,Cloudflare 计划让 AI Labyrinth 不断进化,创建更真实的链接 URL 网络,使自动化程序更难识别。

对于担心其内容被用于训练人工智能或被聊天机器人误传的出版商或个人,AI Labyrinth 可能是一个有价值的工具。

所有 Cloudflare 客户,包括免费套餐用户,今天即可通过访问 Cloudflare 仪表板,导航到机器人管理部分,并开启 AI Labyrinth 选项来启用该工具。

[ttpp]

[yyxx]
相关文章
AI驱动的音乐创作:轻松打造歌曲与视频 AI驱动的音乐创作:轻松打造歌曲与视频 音乐创作可能复杂,需要时间、资源和专业知识。人工智能已转变这一过程,使其简单易用。本指南介绍如何利用AI让任何人都能免费创作独特的歌曲和视觉效果,开启新的创作可能性。我们探索了具有直观界面和先进AI的平台,将您的音乐创意转化为现实,无需高昂成本。关键要点AI可生成完整歌曲,包括人声,而不仅是器乐。Suno AI和Hailuo AI等平台提供免费音乐创作工具。ChatGPT等AI工具可简化歌词创作,
创建AI驱动的着色书:综合指南 创建AI驱动的着色书:综合指南 设计着色书是一项回报丰厚的追求,结合艺术表达与用户放松体验。然而,过程可能劳动密集。幸运的是,AI工具简化了高质量、统一着色页的创建。本指南提供使用AI制作着色书的逐步方法,重点在于一致风格与最佳效率的技术。关键要点使用AI提示工具开发详细、结构化的着色页提示。确保着色书所有页面艺术风格的统一性。生成单一着色页设计的多样化变体。利用Ideogram等AI平台快速、高效创建着色书。优化提示以解决不一
Qodo与Google Cloud合作,为开发者提供免费AI代码审查工具 Qodo与Google Cloud合作,为开发者提供免费AI代码审查工具 Qodo,一家专注于代码质量的以色列AI编码初创公司,已与Google Cloud建立合作关系,以增强AI生成软件的完整性。随着企业越来越依赖AI进行编码,对强大的监督和质量保证工具的需求不断增长。Qodo的首席执行官伊塔马尔·弗里德曼指出,AI生成的代码现已成为现代开发的核心。“想象一个未来,AI编写所有代码;人类无法全部审查,”弗里德曼说。“我们需要系统来确保代码符合预期价值观。”Qodo的创
评论 (24)
0/200
FrankKing
FrankKing 2025-08-20 09:01:15

This Cloudflare tool sounds like a game-changer! 😎 I’m tired of AI bots snooping on my data. Gotta try this to keep those crawlers at bay!

JoseJackson
JoseJackson 2025-08-05 19:00:59

This Cloudflare tool sounds like a game-changer! I’m tired of AI bots scraping my data without consent. Excited to try it out and give those crawlers a headache! 😎

WillieRoberts
WillieRoberts 2025-08-04 19:00:59

This tool sounds like a game-changer! I’m tired of AI bots snooping around my data—hope Cloudflare’s solution keeps those crawlers at bay. 🛡️ Anyone tried it yet?

PaulThomas
PaulThomas 2025-07-28 09:19:05

This tool sounds like a game-changer! I’m tired of AI bots snooping around my data. Cloudflare’s solution feels like a digital ninja dodging those creepy crawlers. Anyone tried it yet? 🕵️‍♂️

WillGarcía
WillGarcía 2025-04-21 08:29:00

Cloudflareのこのツール、命の恩人です!AIボットがデータをスクレイプしようとするのを本当に混乱させます。コントロールを取り戻した感じがいいです。使いやすいけど、もっとユーザーフレンドリーになればいいのに。でも、厄介なクローラーを遠ざけるには素晴らしいツールです!🔒👍

RogerRoberts
RogerRoberts 2025-04-20 01:52:42

¡Esta herramienta de Cloudflare es un salvavidas! Realmente desconcierta a esos bots de IA que intentan robar mis datos. Se siente bien recuperar algo de control. Es fácil de usar, pero podría ser más amigable para el usuario. Aún así, una gran herramienta para mantener a raya a esos molestos rastreadores. 🔒👍

返回顶部
OR