Дом
AI боты соскребают ваши данные? Этот бесплатный инструмент дает этим надоедливым сканерам
Рост контента, созданного искусственным интеллектом, часто называемого синтетическими медиа, привел к ряду проблем, включая распространение дезинформации, несанкционированное использование работ художников и снижение доверия к онлайн-контенту. Однако Cloudflare, возможно, нашла полезное применение для ИИ, стремясь защитить оригинальный контент от эксплуатации компаниями, использующими ИИ.
В среду Cloudflare представила AI Labyrinth, инструмент, разработанный для использования контента, созданного ИИ, чтобы "замедлить, запутать и истощить ресурсы" несанкционированных ИИ-краулеров.
Недавние исследования показали, что чат-боты ИИ, такие как ChatGPT и Perplexity, продолжают получать доступ к контенту с веб-сайтов, которые заблокировали их краулеры. Cloudflare отметила в своем объявлении, что эти краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет чуть менее 1% всех веб-запросов, которые они наблюдают. Метод блокировки этих краулеров имеет решающее значение.
Cloudflare объяснила, что, хотя у них есть несколько инструментов для выявления и блокировки несанкционированного ИИ-сканирования, простая блокировка этих ботов может насторожить злоумышленников, что приводит к непрерывному циклу тактик уклонения. Они хотели разработать новый метод, чтобы отпугнуть этих нежелательных ботов, не сигнализируя о том, что они были обнаружены.
Когда Cloudflare обнаруживает несанкционированный запрос на сканирование, AI Labyrinth не просто блокирует краулер; вместо этого он предоставляет ссылки на несколько веб-страниц, созданных ИИ, которые кажутся достаточно подлинными, чтобы обмануть краулер, заставляя его думать, что они легитимны. Таким образом, краулер ошибочно полагает, что успешно собрал желаемый контент, в то время как реальные данные сайта остаются защищенными. Кроме того, этот подход потребляет вычислительные ресурсы краулера, что Cloudflare считает преимуществом.
В объявлении Cloudflare подробно описано, что инструмент автоматически развертывает набор связанных страниц, созданных ИИ, при обнаружении неподобающей активности ботов, устраняя необходимость для клиентов настраивать пользовательские правила.
Для создания этих страниц Cloudflare использовала Workers AI и модель с открытым исходным кодом для предварительного создания уникальных, похожих на человеческие синтетические страницы на различные темы. Этот процесс предварительной генерации не только очищает контент для предотвращения уязвимостей XSS, но и сохраняет его в R2 для более быстрого доступа.
AI Labyrinth показывает эти ссылки только ИИ-скраперам, гарантируя, что контент остается скрытым от человеческих посетителей и не влияет на структуру, внешний вид или SEO сайта.
Cloudflare подчеркнула свою приверженность не способствовать распространению дезинформации, гарантируя, что сгенерированный контент является фактическим и связан с научными темами, но не имеет отношения к сканируемому сайту.
Кроме того, Cloudflare рассматривает AI Labyrinth как потенциальный медовый горшок для выявления новых нелегальных краулеров. Они отметили, что настоящие человеческие посетители вряд ли будут перемещаться по "лабиринту бессмысленного контента, созданного ИИ", что позволяет инструменту обнаруживать новых ботов на основе шаблонов кликов. Это понимание поможет AI Labyrinth более эффективно выявлять злоумышленников.
Поскольку боты стали искусными в обнаружении традиционных техник медового горшка, Cloudflare планирует развивать AI Labyrinth, создавая более реалистичные сети связанных URL, которые сложнее идентифицировать автоматическим программам.
Для издателей или частных лиц, обеспокоенных использованием их контента для обучения ИИ или искажением чат-ботами, AI Labyrinth может стать ценным инструментом.
Все клиенты Cloudflare, включая тех, кто использует бесплатный уровень, могут включить AI Labyrinth уже сегодня, зайдя в свою панель управления Cloudflare, перейдя в раздел управления ботами и активировав опцию AI Labyrinth.
[ttpp]
[yyxx]
Связанная статья
Бывший главный научный сотрудник OpenAI Илья представляет SSI и раскрывает первую модель
Искусственный интеллект достиг еще одной важной вехи. После своего ухода из OpenAI бывший главный научный сотрудник Илья Сутскер основал компанию Safe Superintelligence Inc. (SSI), которая недавно раскрыла детали своей первой модели. Сообщения в зару
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
14 мая 2026 года платформа разработки приложений на базе искусственного интеллекта Lovable объявила о своем участии в раундеSeed-финансирования на сумму $800 000 для датского стартапа в области аппаратного обеспечения Atech. При ведущем участии Lovab
Anthropic расширяет инструменты для программирования Claude AI в Японии в рамках стратегии роста за рубежом
Anthropic, prominent U.S. artificial intelligence firm, is intensifying its global outreach. On Wednesday, the company hosted a major developer gathering, "Code with Claude," in Tokyo, drawing close to 500 software engineers. This initiative seeks to
Рекомендации по связанным специальным темам
чат-бот
Лучшие инструменты для тренировки разговоров с помощью ИИ для подготовки к собеседованиям
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для переноса стилей с помощью ИИ для творческих экспериментов
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для создания диалоговых пузырей с помощью ИИ для визуального повествования
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
Помощник по встречам
Лучшие инструменты для составления отчетов о встречах с использованием ИИ: четкое отслеживание решений и последующих действий
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
Анализ данных
Лучшие инструменты для очистки данных с использованием ИИ: быстрое устранение пропущенных значений и дубликатов
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для творческого мышления на основе ИИ для художников: преодоление визуальных блоков
В 2026 году лучшие и наиболее популярные инструменты для творческого мышления с использованием ИИ для художников были отобраны XIX.AI, чтобы помочь создателям преодолеть визуальные блоки и мгновенно повысить креативность. Эти мощные инструменты, меняющие правила игры, предлагают реальные тесты, подробное сравнение бесплатных и платных версий, а также еженедельно обновляемые рейтинги. Найдите идеальный инструмент для ускорения создания контента и откройте свой ИИ-преимущество уже сегодня. Исследуйте сейчас!
14 инструментов
xix.ai
Комментарии (27)
![BruceBrown]()
Wait, so we're giving AI bots a taste of their own medicine? That's pretty ironic and kind of satisfying, not gonna lie! Cloudflare stepping in like this is a clever idea, but I wonder how effective it really is long-term. 🤔 Makes me think we're just entering a new arms race between data protection and data scraping. The web feels like a wild west again!
![JasonAnderson]()
Nützlich, aber ich frage mich, ob solche Tools Privatanwender auch einfach nutzen können, oder ob das eher für Unternehmen gedacht ist. Die Balance zwischen Datenschutz und Zugänglichkeit ist oft schwierig. Auf jeden Fall ein interessanter Ansatz von Cloudflare! 🤔
![WillieAnderson]()
이 내용 너무 유용해요! 특히 크롤러를 미끼로 빙빙 돌게 만드는 아이디어 정말 기발하네요 🤩 AI가 데이터를 수집하는 게 걱정될 때 이런 무료 도구가 있다는 건 정말 다행이에요. Cloudflare, 잘 해내고 있는 것 같아요!
![FrankKing]()
This Cloudflare tool sounds like a game-changer! 😎 I’m tired of AI bots snooping on my data. Gotta try this to keep those crawlers at bay!
![JoseJackson]()
This Cloudflare tool sounds like a game-changer! I’m tired of AI bots scraping my data without consent. Excited to try it out and give those crawlers a headache! 😎
![WillieRoberts]()
This tool sounds like a game-changer! I’m tired of AI bots snooping around my data—hope Cloudflare’s solution keeps those crawlers at bay. 🛡️ Anyone tried it yet?
Рост контента, созданного искусственным интеллектом, часто называемого синтетическими медиа, привел к ряду проблем, включая распространение дезинформации, несанкционированное использование работ художников и снижение доверия к онлайн-контенту. Однако Cloudflare, возможно, нашла полезное применение для ИИ, стремясь защитить оригинальный контент от эксплуатации компаниями, использующими ИИ.
В среду Cloudflare представила AI Labyrinth, инструмент, разработанный для использования контента, созданного ИИ, чтобы "замедлить, запутать и истощить ресурсы" несанкционированных ИИ-краулеров.
Недавние исследования показали, что чат-боты ИИ, такие как ChatGPT и Perplexity, продолжают получать доступ к контенту с веб-сайтов, которые заблокировали их краулеры. Cloudflare отметила в своем объявлении, что эти краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет чуть менее 1% всех веб-запросов, которые они наблюдают. Метод блокировки этих краулеров имеет решающее значение.
Cloudflare объяснила, что, хотя у них есть несколько инструментов для выявления и блокировки несанкционированного ИИ-сканирования, простая блокировка этих ботов может насторожить злоумышленников, что приводит к непрерывному циклу тактик уклонения. Они хотели разработать новый метод, чтобы отпугнуть этих нежелательных ботов, не сигнализируя о том, что они были обнаружены.
Когда Cloudflare обнаруживает несанкционированный запрос на сканирование, AI Labyrinth не просто блокирует краулер; вместо этого он предоставляет ссылки на несколько веб-страниц, созданных ИИ, которые кажутся достаточно подлинными, чтобы обмануть краулер, заставляя его думать, что они легитимны. Таким образом, краулер ошибочно полагает, что успешно собрал желаемый контент, в то время как реальные данные сайта остаются защищенными. Кроме того, этот подход потребляет вычислительные ресурсы краулера, что Cloudflare считает преимуществом.
В объявлении Cloudflare подробно описано, что инструмент автоматически развертывает набор связанных страниц, созданных ИИ, при обнаружении неподобающей активности ботов, устраняя необходимость для клиентов настраивать пользовательские правила.
Для создания этих страниц Cloudflare использовала Workers AI и модель с открытым исходным кодом для предварительного создания уникальных, похожих на человеческие синтетические страницы на различные темы. Этот процесс предварительной генерации не только очищает контент для предотвращения уязвимостей XSS, но и сохраняет его в R2 для более быстрого доступа.
AI Labyrinth показывает эти ссылки только ИИ-скраперам, гарантируя, что контент остается скрытым от человеческих посетителей и не влияет на структуру, внешний вид или SEO сайта.
Cloudflare подчеркнула свою приверженность не способствовать распространению дезинформации, гарантируя, что сгенерированный контент является фактическим и связан с научными темами, но не имеет отношения к сканируемому сайту.
Кроме того, Cloudflare рассматривает AI Labyrinth как потенциальный медовый горшок для выявления новых нелегальных краулеров. Они отметили, что настоящие человеческие посетители вряд ли будут перемещаться по "лабиринту бессмысленного контента, созданного ИИ", что позволяет инструменту обнаруживать новых ботов на основе шаблонов кликов. Это понимание поможет AI Labyrinth более эффективно выявлять злоумышленников.
Поскольку боты стали искусными в обнаружении традиционных техник медового горшка, Cloudflare планирует развивать AI Labyrinth, создавая более реалистичные сети связанных URL, которые сложнее идентифицировать автоматическим программам.
Для издателей или частных лиц, обеспокоенных использованием их контента для обучения ИИ или искажением чат-ботами, AI Labyrinth может стать ценным инструментом.
Все клиенты Cloudflare, включая тех, кто использует бесплатный уровень, могут включить AI Labyrinth уже сегодня, зайдя в свою панель управления Cloudflare, перейдя в раздел управления ботами и активировав опцию AI Labyrinth.
[ttpp]
[yyxx]
Бывший главный научный сотрудник OpenAI Илья представляет SSI и раскрывает первую модель
Искусственный интеллект достиг еще одной важной вехи. После своего ухода из OpenAI бывший главный научный сотрудник Илья Сутскер основал компанию Safe Superintelligence Inc. (SSI), которая недавно раскрыла детали своей первой модели. Сообщения в зару
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
14 мая 2026 года платформа разработки приложений на базе искусственного интеллекта Lovable объявила о своем участии в раундеSeed-финансирования на сумму $800 000 для датского стартапа в области аппаратного обеспечения Atech. При ведущем участии Lovab
Anthropic расширяет инструменты для программирования Claude AI в Японии в рамках стратегии роста за рубежом
Anthropic, prominent U.S. artificial intelligence firm, is intensifying its global outreach. On Wednesday, the company hosted a major developer gathering, "Code with Claude," in Tokyo, drawing close to 500 software engineers. This initiative seeks to
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
В 2026 году лучшие и наиболее популярные инструменты для творческого мышления с использованием ИИ для художников были отобраны XIX.AI, чтобы помочь создателям преодолеть визуальные блоки и мгновенно повысить креативность. Эти мощные инструменты, меняющие правила игры, предлагают реальные тесты, подробное сравнение бесплатных и платных версий, а также еженедельно обновляемые рейтинги. Найдите идеальный инструмент для ускорения создания контента и откройте свой ИИ-преимущество уже сегодня. Исследуйте сейчас!
14 инструментов
xix.ai
Wait, so we're giving AI bots a taste of their own medicine? That's pretty ironic and kind of satisfying, not gonna lie! Cloudflare stepping in like this is a clever idea, but I wonder how effective it really is long-term. 🤔 Makes me think we're just entering a new arms race between data protection and data scraping. The web feels like a wild west again!
Nützlich, aber ich frage mich, ob solche Tools Privatanwender auch einfach nutzen können, oder ob das eher für Unternehmen gedacht ist. Die Balance zwischen Datenschutz und Zugänglichkeit ist oft schwierig. Auf jeden Fall ein interessanter Ansatz von Cloudflare! 🤔
이 내용 너무 유용해요! 특히 크롤러를 미끼로 빙빙 돌게 만드는 아이디어 정말 기발하네요 🤩 AI가 데이터를 수집하는 게 걱정될 때 이런 무료 도구가 있다는 건 정말 다행이에요. Cloudflare, 잘 해내고 있는 것 같아요!
This Cloudflare tool sounds like a game-changer! 😎 I’m tired of AI bots snooping on my data. Gotta try this to keep those crawlers at bay!
This Cloudflare tool sounds like a game-changer! I’m tired of AI bots scraping my data without consent. Excited to try it out and give those crawlers a headache! 😎
This tool sounds like a game-changer! I’m tired of AI bots snooping around my data—hope Cloudflare’s solution keeps those crawlers at bay. 🛡️ Anyone tried it yet?
