AI боты соскребают ваши данные? Этот бесплатный инструмент дает этим надоедливым сканерам

Рост контента, созданного искусственным интеллектом, часто называемого синтетическими медиа, привел к ряду проблем, включая распространение дезинформации, несанкционированное использование работ художников и снижение доверия к онлайн-контенту. Однако Cloudflare, возможно, нашла полезное применение для ИИ, стремясь защитить оригинальный контент от эксплуатации компаниями, использующими ИИ.

В среду Cloudflare представила AI Labyrinth, инструмент, разработанный для использования контента, созданного ИИ, чтобы "замедлить, запутать и истощить ресурсы" несанкционированных ИИ-краулеров.

Недавние исследования показали, что чат-боты ИИ, такие как ChatGPT и Perplexity, продолжают получать доступ к контенту с веб-сайтов, которые заблокировали их краулеры. Cloudflare отметила в своем объявлении, что эти краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет чуть менее 1% всех веб-запросов, которые они наблюдают. Метод блокировки этих краулеров имеет решающее значение.

Cloudflare объяснила, что, хотя у них есть несколько инструментов для выявления и блокировки несанкционированного ИИ-сканирования, простая блокировка этих ботов может насторожить злоумышленников, что приводит к непрерывному циклу тактик уклонения. Они хотели разработать новый метод, чтобы отпугнуть этих нежелательных ботов, не сигнализируя о том, что они были обнаружены.

Когда Cloudflare обнаруживает несанкционированный запрос на сканирование, AI Labyrinth не просто блокирует краулер; вместо этого он предоставляет ссылки на несколько веб-страниц, созданных ИИ, которые кажутся достаточно подлинными, чтобы обмануть краулер, заставляя его думать, что они легитимны. Таким образом, краулер ошибочно полагает, что успешно собрал желаемый контент, в то время как реальные данные сайта остаются защищенными. Кроме того, этот подход потребляет вычислительные ресурсы краулера, что Cloudflare считает преимуществом.

В объявлении Cloudflare подробно описано, что инструмент автоматически развертывает набор связанных страниц, созданных ИИ, при обнаружении неподобающей активности ботов, устраняя необходимость для клиентов настраивать пользовательские правила.

Для создания этих страниц Cloudflare использовала Workers AI и модель с открытым исходным кодом для предварительного создания уникальных, похожих на человеческие синтетические страницы на различные темы. Этот процесс предварительной генерации не только очищает контент для предотвращения уязвимостей XSS, но и сохраняет его в R2 для более быстрого доступа.

AI Labyrinth показывает эти ссылки только ИИ-скраперам, гарантируя, что контент остается скрытым от человеческих посетителей и не влияет на структуру, внешний вид или SEO сайта.

Cloudflare подчеркнула свою приверженность не способствовать распространению дезинформации, гарантируя, что сгенерированный контент является фактическим и связан с научными темами, но не имеет отношения к сканируемому сайту.

Кроме того, Cloudflare рассматривает AI Labyrinth как потенциальный медовый горшок для выявления новых нелегальных краулеров. Они отметили, что настоящие человеческие посетители вряд ли будут перемещаться по "лабиринту бессмысленного контента, созданного ИИ", что позволяет инструменту обнаруживать новых ботов на основе шаблонов кликов. Это понимание поможет AI Labyrinth более эффективно выявлять злоумышленников.

Поскольку боты стали искусными в обнаружении традиционных техник медового горшка, Cloudflare планирует развивать AI Labyrinth, создавая более реалистичные сети связанных URL, которые сложнее идентифицировать автоматическим программам.

Для издателей или частных лиц, обеспокоенных использованием их контента для обучения ИИ или искажением чат-ботами, AI Labyrinth может стать ценным инструментом.

Все клиенты Cloudflare, включая тех, кто использует бесплатный уровень, могут включить AI Labyrinth уже сегодня, зайдя в свою панель управления Cloudflare, перейдя в раздел управления ботами и активировав опцию AI Labyrinth.

[ttpp]