Дом
Политика Cloudflare вынуждает компании, работающие с ИИ, платить издателям за использование их контента.
Cloudflare установила новый срок для индустрии ИИ, требуя отделить веб-краулеры, используемые традиционными поисковыми системами, такими как Google Search, от тех, что предназначены для агентов ИИ и процесса обучения. Как сообщила компания в среду, начиная с 15 сентября 2026 года стандартные настройки Cloudflare будут блокировать краулеры смешанного назначения на всех страницах, отображающих рекламу.
Это означает, что краулеры, объединяющие функции поиска, работы агентов и обучения, по умолчанию не смогут получать доступ к таким сайтам, если только владельцы сайтов не скорректируют настройки вручную. По словам компании, это изменение будет применяться к новым клиентам Cloudflare, к новым сайтам, создаваемым существующими клиентами, а также ко всем пользователям бесплатного тарифа.
Этот шаг может повлиять на то, как поставщики моделей ИИ получают доступ к веб-контенту для обучения и для функционирования своих сервисов на основе агентов.
Cloudflare отмечает, что большинство владельцев сайтов хотят, чтобы их контент был доступен через поисковые системы, а также через сервисы ИИ, но в то же время они нуждаются в защите от бесплатного распространения своей интеллектуальной собственности.
Cloudflare конкретно указывает на «самую крупную поисковую систему в мире» (явно имея в виду Google), у которой есть доступ примерно к «в два раза большему объёму информации», чем у других компаний ИИ, поскольку этот гигант поиска затрудняет для клиентов сохранение видимости без одновременного использования их контента в целях развития технологий ИИ.
Ранее Google оспаривала такое обобщение, отмечая, что предлагает бот под названием Google Extended, позволяющий владельцам сайтов отказаться от использования их контента для обучения и создания продуктов ИИ, таких как Gemini Apps и Vertex API. Использование этого инструмента не влияет на то, будет ли сайт включён в поисковые результаты Google. Однако основной бот Googlebot продолжает сканировать контент для поиска, включая функции ИИ, такие как AI Overviews и AI Mode.
«Теперь, когда большая часть трафика в Интернете приходится на нечеловеческие источники, мы должны действовать ещё активнее и быстрее, чтобы сформировать устойчивую экосистему», — заявил в своём объявлении сооснователь и генеральный директор Cloudflare Мэтью Принс, отсылая к недавнему этапу, когда боты впервые превзошли по численности человеческий трафик в сети — сдвиг, который ранее ожидался только в следующем году.
«Новые инструменты и партнёрства Cloudflare обеспечивают владельцам сайтов большую видимость и коммерческие возможности, а также приносят пользу компаниям ИИ, у которых боты имеют чёткую и прозрачную цель. Мы надеемся, что предложенные стандартные изменения побудят краулеры смешанного назначения разделять функции поиска, работы агентов и обучения», — сказал Принс.
Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям создавать собственные системы ИИ, компания также выпустила набор инструментов, позволяющих издателям больше контролировать свой контент в эпоху ИИ. В последние годы Cloudflare создала инструменты для борьбы с ботами ИИ, включая рынок, где сайты могут взимать плату с ботов за скрапинг контента — сервис под названием Pay Per Crawl.
По словам компании, этот инструмент теперь развивается в модель «Pay Per Use», которая позволит издателям взимать плату с компаний ИИ тогда, когда их контент создаёт ценность, а не только при его получении.
Это изменение также может помочь сэкономить у издателей пропускную способность и вычислительные ресурсы для поставщиков моделей ИИ, поскольку данные Cloudflare показывают, что более 50% трафика от краулеров ИИ тратится на повторное получение неизменных страниц.
Для реализации этого Cloudflare в первую очередь сотрудничает с двумя партнёрами — Ceramic.ai и You.com. Когда издатель соглашается участвовать, он получает оплату, если его контент появляется в результатах поиска ИИ от Ceramic или когда You.com запрашивает его премиум-контент.
По словам Cloudflare, другие компании ИИ могут адаптировать эту модель под свою работу.
Связанная статья
Google AI Overviews Gain Ground in Search Results
Согласно отчёту Similarweb «Ландшафт генеративного ИИ 2026», сгенерированные Googleм краткие ответы появлялись в 43% поисковых запросов в США, что является значительным ростом по сравнению с 15%, зафиксированными годом ранее.Хотя ИИ-обзоры представля
Google будет платить SpaceX 920 млн долларов в месяц за вычислительные мощности
SpaceX заключила еще одно крупное соглашение о вычислительных мощностях перед своим знаковым первичным публичным размещением акций, на этот раз в партнерстве с Google. Компания раскрыла условия соглашения в регуляторном документе в пятницу.Согласно
Google расширяет режим ИИ для отслеживания цен на авиабилеты и бронирования отелей
Google представила новые возможности в рамках AI Mode, своего интерфейса для диалогового поиска, позволяющие пользователям более эффективно планировать и бронировать поездки, сообщила компания в четверг. Обновленные функции позволяют пользователям за
Рекомендации по связанным специальным темам
Дизайн и искусство
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
Образование и обучение
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
Финансы
Инструменты планирования бюджета на основе ИИ для управления личными финансами
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
Здоровье и благополучие
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
Анализ данных
AI-копилоты SQL для аналитики продуктов и выручки
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
Образование и обучение
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Комментарии (0)
Cloudflare установила новый срок для индустрии ИИ, требуя отделить веб-краулеры, используемые традиционными поисковыми системами, такими как Google Search, от тех, что предназначены для агентов ИИ и процесса обучения. Как сообщила компания в среду, начиная с 15 сентября 2026 года стандартные настройки Cloudflare будут блокировать краулеры смешанного назначения на всех страницах, отображающих рекламу.
Это означает, что краулеры, объединяющие функции поиска, работы агентов и обучения, по умолчанию не смогут получать доступ к таким сайтам, если только владельцы сайтов не скорректируют настройки вручную. По словам компании, это изменение будет применяться к новым клиентам Cloudflare, к новым сайтам, создаваемым существующими клиентами, а также ко всем пользователям бесплатного тарифа.
Этот шаг может повлиять на то, как поставщики моделей ИИ получают доступ к веб-контенту для обучения и для функционирования своих сервисов на основе агентов.
Cloudflare отмечает, что большинство владельцев сайтов хотят, чтобы их контент был доступен через поисковые системы, а также через сервисы ИИ, но в то же время они нуждаются в защите от бесплатного распространения своей интеллектуальной собственности.
Cloudflare конкретно указывает на «самую крупную поисковую систему в мире» (явно имея в виду Google), у которой есть доступ примерно к «в два раза большему объёму информации», чем у других компаний ИИ, поскольку этот гигант поиска затрудняет для клиентов сохранение видимости без одновременного использования их контента в целях развития технологий ИИ.
Ранее Google оспаривала такое обобщение, отмечая, что предлагает бот под названием Google Extended, позволяющий владельцам сайтов отказаться от использования их контента для обучения и создания продуктов ИИ, таких как Gemini Apps и Vertex API. Использование этого инструмента не влияет на то, будет ли сайт включён в поисковые результаты Google. Однако основной бот Googlebot продолжает сканировать контент для поиска, включая функции ИИ, такие как AI Overviews и AI Mode.
«Теперь, когда большая часть трафика в Интернете приходится на нечеловеческие источники, мы должны действовать ещё активнее и быстрее, чтобы сформировать устойчивую экосистему», — заявил в своём объявлении сооснователь и генеральный директор Cloudflare Мэтью Принс, отсылая к недавнему этапу, когда боты впервые превзошли по численности человеческий трафик в сети — сдвиг, который ранее ожидался только в следующем году.
«Новые инструменты и партнёрства Cloudflare обеспечивают владельцам сайтов большую видимость и коммерческие возможности, а также приносят пользу компаниям ИИ, у которых боты имеют чёткую и прозрачную цель. Мы надеемся, что предложенные стандартные изменения побудят краулеры смешанного назначения разделять функции поиска, работы агентов и обучения», — сказал Принс.
Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям создавать собственные системы ИИ, компания также выпустила набор инструментов, позволяющих издателям больше контролировать свой контент в эпоху ИИ. В последние годы Cloudflare создала инструменты для борьбы с ботами ИИ, включая рынок, где сайты могут взимать плату с ботов за скрапинг контента — сервис под названием Pay Per Crawl.
По словам компании, этот инструмент теперь развивается в модель «Pay Per Use», которая позволит издателям взимать плату с компаний ИИ тогда, когда их контент создаёт ценность, а не только при его получении.
Это изменение также может помочь сэкономить у издателей пропускную способность и вычислительные ресурсы для поставщиков моделей ИИ, поскольку данные Cloudflare показывают, что более 50% трафика от краулеров ИИ тратится на повторное получение неизменных страниц.
Для реализации этого Cloudflare в первую очередь сотрудничает с двумя партнёрами — Ceramic.ai и You.com. Когда издатель соглашается участвовать, он получает оплату, если его контент появляется в результатах поиска ИИ от Ceramic или когда You.com запрашивает его премиум-контент.
По словам Cloudflare, другие компании ИИ могут адаптировать эту модель под свою работу.
Google AI Overviews Gain Ground in Search Results
Согласно отчёту Similarweb «Ландшафт генеративного ИИ 2026», сгенерированные Googleм краткие ответы появлялись в 43% поисковых запросов в США, что является значительным ростом по сравнению с 15%, зафиксированными годом ранее.Хотя ИИ-обзоры представля
Google будет платить SpaceX 920 млн долларов в месяц за вычислительные мощности
SpaceX заключила еще одно крупное соглашение о вычислительных мощностях перед своим знаковым первичным публичным размещением акций, на этот раз в партнерстве с Google. Компания раскрыла условия соглашения в регуляторном документе в пятницу.Согласно
Google расширяет режим ИИ для отслеживания цен на авиабилеты и бронирования отелей
Google представила новые возможности в рамках AI Mode, своего интерфейса для диалогового поиска, позволяющие пользователям более эффективно планировать и бронировать поездки, сообщила компания в четверг. Обновленные функции позволяют пользователям за
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
