Cloudflare намерена изменить подход к обработке запросов от ИИ-систем с 15 сентября 2026 года, чтобы в дальнейшем владельцы сайтов могли получать вознаграждение не только за индексацию контента, но и за его использование в сервисах искусственного интеллекта. Таким образом, концепция Pay-Per-Crawl («оплата за обход сайта») может превратиться в Pay-Per-Use («оплата за использование»): издатели будут зарабатывать не только тогда, когда страницу открывает реальный пользователь, но и когда её содержимое используют ИИ-сервисы.
Как сообщила Cloudflare в новом сообщении в блоге, с 15 сентября компания начнёт классифицировать ИИ-краулеров по их назначению. На сайтах, монетизируемых за счёт рекламы, краулеры для обучения моделей и агентские боты будут по умолчанию блокироваться, тогда как обычные поисковые роботы останутся разрешёнными. Новые настройки по умолчанию распространятся на новые домены в сети Cloudflare, новые сайты существующих клиентов и пользователей бесплатного тарифа. Всего Cloudflare выделяет три категории: Search, Agent и Training.
Категория Search относится к поисковым роботам, которые индексируют содержимое сайта и затем приводят на него посетителей. Agent объединяет автоматические запросы, выполняемые от имени пользователя, например когда ИИ-помощник открывает страницу в режиме реального времени. Training включает краулеры, собирающие данные для обучения или дообучения моделей. На рекламных сайтах Cloudflare разрешит только Search, а категории Agent и Training будут блокироваться. Логика проста: рекламу должны видеть люди. Если страницу посещает бот лишь для последующего использования её содержимого в ИИ или по запросу цифрового помощника, владелец сайта теряет потенциальный рекламный доход. При необходимости владельцы сайтов смогут изменить эти настройки до вступления новых правил в силу.
При этом многофункциональные краулеры больше не будут автоматически считаться обычными поисковыми роботами. Cloudflare намерена учитывать не только название бота, но и все сценарии его использования. Если один и тот же краулер одновременно индексирует сайты и собирает данные для обучения моделей, к нему будут применяться правила сразу для обеих категорий. В качестве примеров компания приводит Googlebot, Applebot и BingBot, которые могут попасть под блокировку, если владелец сайта запретит использование контента для обучения ИИ.
Фактически эта мера в первую очередь затрагивает Google, хотя Cloudflare в своей публикации чаще говорит просто о крупнейшей поисковой системе. По мнению компании, владельцы сайтов оказываются в сложной ситуации: чтобы сохранить присутствие в поисковой выдаче Google, им приходится одновременно разрешать доступ тем же роботам, которые используются для ИИ-функций. В свою очередь Google напоминает о механизме Google Extended, позволяющем запретить обучение моделей и использование контента некоторыми ИИ-сервисами без исключения сайта из поисковой выдачи. Однако именно Googlebot продолжает обслуживать такие функции, как AI Overviews и AI Mode.
Cloudflare также приводит собственную статистику. По её данным, более половины интернет-трафика сегодня уже создают не люди. Среди классифицированных краулеров в июне 2026 года 52 % запросов приходилось на обучение ИИ — годом ранее этот показатель составлял 22 %. Ещё свыше 36 % трафика генерируют краулеры смешанного назначения. При этом традиционные поисковые роботы, несмотря на свою важность для индексации сайтов, сегодня составляют лишь меньшую часть всего трафика поисковых систем.
Предлагаемая модель Pay-Per-Use должна учитывать это различие. Оплата будет начисляться не только за посещение страницы, но и за последующее использование её содержимого в сервисах искусственного интеллекта. Для издателей главным станет уже не сам факт визита бота, а то, как именно затем используется опубликованный материал. Разумеется, инициатива Cloudflare не охватывает весь Интернет, однако, по данным компании, через её инфраструктуру проходит более 20 % мирового интернет-трафика.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).