AI机器人刮擦您的数据？这种免费工具使那些讨厌的爬行者逐步划定

人工智能生成内容的兴起，通常被称为合成媒体，带来了若干挑战，包括虚假信息的传播、艺术家作品的未经授权使用以及在线内容信任度的下降。然而，Cloudflare 可能找到了一种人工智能的有益应用，旨在保护原创内容免受人工智能公司的利用。

周三，Cloudflare 推出了 AI Labyrinth，这是一款旨在使用人工智能生成内容来“减缓、迷惑和浪费未经授权的人工智能爬虫资源”的工具。

近期研究显示，人工智能聊天机器人，如 ChatGPT 和 Perplexity，仍然会访问那些已阻止其爬虫的网站内容。Cloudflare 在其公告中指出，这些爬虫每天对其网络产生超过 500 亿次请求，占其观察到的所有网络请求的不到 1%。阻止这些爬虫的方法至关重要。

Cloudflare 解释说，虽然他们拥有多种工具来识别和阻止未经授权的人工智能爬取，但简单地阻止这些机器人可能会警告攻击者，导致持续的规避策略循环。他们希望设计一种新方法来威慑这些不受欢迎的机器人，而不让它们察觉已被检测到。

当 Cloudflare 检测到未经授权的爬取请求时，AI Labyrinth 不会直接阻止爬虫；相反，它会链接到多个人工智能生成的网页，这些网页看似真实，足以欺骗爬虫认为它们是合法的。这样，爬虫会错误地认为它成功抓取了所需内容，而网站的真实数据仍然受到保护。此外，这种方法会消耗爬虫的计算资源，Cloudflare 认为这是一个优势。

Cloudflare 的公告详细说明，该工具在检测到不当机器人活动时会自动部署一组人工智能生成的链接页面，无需客户设置自定义规则。

为了创建这些页面，Cloudflare 利用 Workers AI 和一个开源模型，预先生成关于各种主题的独特、类人合成页面。此预生成流程不仅对内容进行净化以防止 XSS 漏洞，还将其存储在 R2 中以便更快访问。

AI Labyrinth 仅向人工智能爬虫显示这些链接，确保内容对人类访问者不可见，且不会影响网站结构、外观或 SEO。

Cloudflare 强调其致力于不助长虚假信息的传播，确保生成的内容是基于事实且与科学主题相关，但与被爬取的网站无关。

此外，Cloudflare 将 AI Labyrinth 视为一个潜在的诱捕器，用于识别新的非法爬虫。他们指出，真正的人类访问者不太可能浏览“人工智能生成的无意义迷宫”，从而使该工具能够根据点击模式检测新机器人。这一洞察将帮助 AI Labyrinth 更有效地识别恶意行为者。

由于机器人已变得擅长检测传统诱捕技术，Cloudflare 计划让 AI Labyrinth 不断进化，创建更真实的链接 URL 网络，使自动化程序更难识别。

对于担心其内容被用于训练人工智能或被聊天机器人误传的出版商或个人，AI Labyrinth 可能是一个有价值的工具。

所有 Cloudflare 客户，包括免费套餐用户，今天即可通过访问 Cloudflare 仪表板，导航到机器人管理部分，并开启 AI Labyrinth 选项来启用该工具。

[ttpp]