вариант
Дом
Новости
Cloudflare нацеливается на разнородные ИИ-краулеры с помощью новых правил массовой блокировки

Cloudflare нацеливается на разнородные ИИ-краулеры с помощью новых правил массовой блокировки

6 августа 2026 г.
93

Cloudflare нацеливается на разнородные ИИ-краулеры с помощью новых правил массовой блокировки

Cloudflare внедрила значительное обновление своих стандартных правил обслуживания, предоставив компаниям, занимающимся искусственным интеллектом, во всех отраслях срок до 15 сентября для приведения своей деятельности в соответствие с новыми требованиями. Теперь все поставщики ИИ обязаны проводить разграничение между поисковыми роботами, роботами для обучения моделей и роботами, специфичными для ИИ-агентов. Любые смешанные роботы, которые не смогут идентифицировать себя, будут автоматически заблокированы системой при попытке доступа к страницам, содержащим рекламу.

Новые правила имеют широкую сферу применения и в равной степени распространяются на новых клиентов платформы, существующих пользователей, создающих новые сайты, и все сайты бесплатных пользователей. Если администратор сайта желает разрешить работу смешанных роботов-пауков, единственным вариантом является ручная настройка конфигурации бэкэнда — изменение, которое напрямую влияет на то, как компании, занимающиеся ИИ, собирают веб-контент для учебных материалов.

Многие администраторы сайтов с удовольствием разрешают традиционным поисковым системам индексировать свой контент, но не хотят, чтобы их интеллектуальная собственность собиралась и использовалась для обучения без компенсации. Cloudflare указала, что сканер Google служит как для поиска, так и для сбора данных для ИИ, что затрудняет сайтам разрешение индексации для поиска при одновременном блокировании доступа для обучения ИИ. В ответ на это Google представила специальный инструмент для роботов, который позволяет сайтам блокировать доступ для обучения ИИ, не влияя на их индексацию в поиске.

Однако основной робот-сканер Google будет по-прежнему собирать данные для встроенных функций ИИ поисковой системы, что затрудняет полное разделение потребностей в данных для поиска и для ИИ. Генеральный директор платформы отметил, что трафик роботов уже давно превысил количество посещений людьми, и экосистеме отрасли срочно необходимо регулировать различные виды сканирования.

Cloudflare продолжает совершенствовать свои инструменты защиты контента, переходя от инструмента для борьбы с ИИ-краулерами 2024 к новой модели тарификации, основанной на ценности. Ранее платформа взимала плату в зависимости от объема сканирования, но теперь перешла на подход «оплата по факту использования», рассчитывая сборы в соответствии с фактической выручкой, которую контент приносит в приложениях ИИ. Данные показывают, что более половины ИИ-сканеров неоднократно сканируют страницы, которые не обновлялись, и такой механизм оплаты позволяет сократить недействительный трафик, одновременно увеличивая доходы авторов контента.

Текущий тарифный план уже был протестирован с участием двух компаний, занимающихся ИИ, что позволяет администраторам сайтов получать прямой доход при использовании их контента продуктами ИИ. В условиях ужесточения законодательства об авторских правах новые правила обязывают компании, работающие с ИИ, повысить прозрачность своей деятельности по сканированию, предоставляя создателям веб-контента больший контроль над своим контентом.

Связанная статья
Qwen3.5-Max Preview лидирует в LMArena, поскольку китайские ИИ-модели достигают мирового передового уровня Qwen3.5-Max Preview лидирует в LMArena, поскольку китайские ИИ-модели достигают мирового передового уровня 20 марта в последних рейтингах авторитетной платформы слепых тестов больших моделей LMArena было раскрыто, что новейшая флагманская предварительная модель серии Qwen от компании Alibaba, Qwen3.5-Max-Preview, продемонстрировала исключительную производ
Стартап при поддержке Марка Бениоффа стремится решить проблемы внедрения ИИ Стартап при поддержке Марка Бениоффа стремится решить проблемы внедрения ИИ Крупные предприятия сталкиваются с такими масштабными вызовами при развертывании надежных инструментов искусственного интеллекта, что появляются целые команды инженеров, внедряемых непосредственно в клиентские компании (forward-deployed engineers) —
AliVideo представляет Wan3.0, обеспечивающий генерацию сверхдлинных видео и многомерную согласованность AliVideo представляет Wan3.0, обеспечивающий генерацию сверхдлинных видео и многомерную согласованность 24 августа Alibaba представила Wan3.0, свою новейшую большую модель для генерации видео. Этот выпуск представляет собой значительный скачок в развитии видеотехнологий Alibaba, обеспечивая существенные улучшения в продолжительности, универсальном созд
Рекомендации по связанным специальным темам
Дизайн и искусство Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки

2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.

10 инструментов
xix.ai
Образование и обучение Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку

2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!

10 инструментов
xix.ai
Финансы Инструменты планирования бюджета на основе ИИ для управления личными финансами
Инструменты планирования бюджета на основе ИИ для управления личными финансами

В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!

11 инструментов
xix.ai
Здоровье и благополучие Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном

2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.

10 инструментов
xix.ai
Анализ данных AI-копилоты SQL для аналитики продуктов и выручки
AI-копилоты SQL для аналитики продуктов и выручки

2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!

14 инструментов
xix.ai
Образование и обучение Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы

2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.

10 инструментов
xix.ai
Комментарии (0)
0/500
OR