Cloudflare обвиняет Perplexity в использовании ботов искусственного интеллекта для тайного переползания заблокированных веб-сайтов
ИИ-стартап обвиняется в обходе ограничений на посещение сайтов
В ходе недавнего расследования Cloudflare утверждает, что компания Perplexity, занимающаяся поиском с помощью искусственного интеллекта, использовала тактику обхода ограничений на посещение сайтов, установленных владельцами веб-сайтов. Провайдер интернет-инфраструктуры сообщает о систематических попытках замаскировать веб-краулеры Perplexity при столкновении с барьерами доступа.
Тактика обхода
Согласно выводам Cloudflare, краулеры Perplexity изначально имеют стандартную идентификацию ("PerplexityBot" или "Perplexity-User"). Однако при блокировке с помощью:
- директивы robots.txt
- правила брандмауэра веб-приложений
- другие ограничения доступа
Система якобы переключается на маскировку своей личности под обычного пользователя браузера Chrome на macOS, используя:
- Ротация IP-адресов, не внесенных в официальный список
- Изменение сетевых идентификаторов автономных систем
- недокументированные шаблоны пользовательских агентов.
Масштаб активности
Cloudflare документирует это поведение на:
- Десятки тысяч доменов
- Миллионы ежедневных запросов
- Различные конфигурации сети
Ответы компании
Официальное заявление Perplexity оспаривает характеристику Cloudflare, описывая ее как:
- "рекламный трюк".
- Содержащий "множество недоразумений"
- Потенциально путающий законный пользовательский трафик с деятельностью по скраппингу.
Стартап приписывает некоторые обнаруженные действия:
- Реальным пользователям, делающим конкретные запросы
- Сторонний сервис BrowserBase
- Случайные технические потребности
Контекст отрасли
Этот инцидент произошел после:
- Предыдущие сообщения о том, что Perplexity обходит платные стены
- Приписывание компании в прошлом сторонних краулеров
- Растущая озабоченность индустрии по поводу искусственного интеллекта, занимающегося соскабливанием контента.
Cloudflare приняла меры:
- Удаление статуса проверенного бота Perplexity
- Внедрение новых мер блокировки
- Расширение ограничений на использование ИИ-краулеров по умолчанию
Ситуация отражает более широкие противоречия между:
- потребностями ИИ-компаний в данных
- правами и защитой издателей
- развивающейся инфраструктурой интернета
Связанная статья
Google представила 9 новых интересных функций в мягком запуске приложения Home
Приложение Google Home получило значительные обновления в предварительной версии 2025 годаКомпания Google значительно улучшила свое приложение Home, добавив в него несколько принципиально новых функци
Grammarly расширяется до платформы продуктивности с искусственным интеллектом
Компания Grammarly объявила о планах по приобретению популярного приложения для повышения эффективности работы с электронной почтой Superhuman, говорится в официальном заявлении. Этот шаг стратегическ
Секретное устройство OpenAI от Джони Айва, как сообщается, отказывается от экранов
Загадочная коллаборация OpenAI и известного дизайнера Джони Айва (Jony Ive) разрабатывает карманное устройство с контекстной информацией, которое не будет содержать экранов или иметь форму очков. Внут
Комментарии (0)
ИИ-стартап обвиняется в обходе ограничений на посещение сайтов
В ходе недавнего расследования Cloudflare утверждает, что компания Perplexity, занимающаяся поиском с помощью искусственного интеллекта, использовала тактику обхода ограничений на посещение сайтов, установленных владельцами веб-сайтов. Провайдер интернет-инфраструктуры сообщает о систематических попытках замаскировать веб-краулеры Perplexity при столкновении с барьерами доступа.
Тактика обхода
Согласно выводам Cloudflare, краулеры Perplexity изначально имеют стандартную идентификацию ("PerplexityBot" или "Perplexity-User"). Однако при блокировке с помощью:
- директивы robots.txt
- правила брандмауэра веб-приложений
- другие ограничения доступа
Система якобы переключается на маскировку своей личности под обычного пользователя браузера Chrome на macOS, используя:
- Ротация IP-адресов, не внесенных в официальный список
- Изменение сетевых идентификаторов автономных систем
- недокументированные шаблоны пользовательских агентов.
Масштаб активности
Cloudflare документирует это поведение на:
- Десятки тысяч доменов
- Миллионы ежедневных запросов
- Различные конфигурации сети
Ответы компании
Официальное заявление Perplexity оспаривает характеристику Cloudflare, описывая ее как:
- "рекламный трюк".
- Содержащий "множество недоразумений"
- Потенциально путающий законный пользовательский трафик с деятельностью по скраппингу.
Стартап приписывает некоторые обнаруженные действия:
- Реальным пользователям, делающим конкретные запросы
- Сторонний сервис BrowserBase
- Случайные технические потребности
Контекст отрасли
Этот инцидент произошел после:
- Предыдущие сообщения о том, что Perplexity обходит платные стены
- Приписывание компании в прошлом сторонних краулеров
- Растущая озабоченность индустрии по поводу искусственного интеллекта, занимающегося соскабливанием контента.
Cloudflare приняла меры:
- Удаление статуса проверенного бота Perplexity
- Внедрение новых мер блокировки
- Расширение ограничений на использование ИИ-краулеров по умолчанию
Ситуация отражает более широкие противоречия между:
- потребностями ИИ-компаний в данных
- правами и защитой издателей
- развивающейся инфраструктурой интернета
Google представила 9 новых интересных функций в мягком запуске приложения Home
Приложение Google Home получило значительные обновления в предварительной версии 2025 годаКомпания Google значительно улучшила свое приложение Home, добавив в него несколько принципиально новых функци
Grammarly расширяется до платформы продуктивности с искусственным интеллектом
Компания Grammarly объявила о планах по приобретению популярного приложения для повышения эффективности работы с электронной почтой Superhuman, говорится в официальном заявлении. Этот шаг стратегическ
Секретное устройство OpenAI от Джони Айва, как сообщается, отказывается от экранов
Загадочная коллаборация OpenAI и известного дизайнера Джони Айва (Jony Ive) разрабатывает карманное устройство с контекстной информацией, которое не будет содержать экранов или иметь форму очков. Внут
