Cloudflare сделал платный доступ ИИ-ботов к сайтам общедоступным

Cloudflare объявил, что механизм pay-per-crawl — плата с ИИ-ботов за каждый заход на сайт — вышел из закрытого превью и стал доступен всем клиентам. Владельцы сайтов теперь могут не просто блокировать ИИ-краулеры, а выставлять им счёт за доступ к контенту.

Что именно запустили

Идея простая: когда бот ИИ-компании приходит скачивать страницы, сервер отвечает не «можно» или «нельзя», а «плати». Технически это использует давно существующий, но почти забытый код ответа HTTP 402 Payment Required — тот самый статус, который годами значился в стандарте «зарезервирован на будущее».

Владелец сайта задаёт цену за заход, ИИ-компания либо платит по выставленному счёту, либо получает отказ. Cloudflare выступает посредником: он опознаёт известных ботов, ведёт учёт и проводит расчёты между сторонами.

Почему это важно

До сих пор у сайтов было два варианта в отношениях с ИИ-краулерами: пустить бесплатно или заблокировать через robots.txt и фаервол. Первое означало, что твой контент бесплатно уходит в обучение чужих моделей; второе лишало возможности хоть что-то с этого получить.

Pay-per-crawl добавляет третий вариант — брать деньги. Для крупных изданий и справочных сайтов, чей текст ценен для обучения, это способ вернуть контроль над данными и монетизировать то, что раньше забирали даром.

Блокировка по умолчанию

Вместе с платным доступом Cloudflare усилил и позицию по умолчанию: для новых доменов ИИ-краулеры, не связанные с поиском, блокируются автоматически, пока владелец сам не разрешит их. Это продолжение курса, который компания взяла ещё в 2025 году, когда стала предлагать блокировку ИИ-ботов одной кнопкой.

Разграничение тут важное: поисковых роботов (тех, что ведут пользователей на сайт) пускают, а тех, что скачивают контент только ради обучения модели, — нет. Грань между этими задачами размытая, и часть споров развернётся именно вокруг того, кто есть кто.

Что это меняет на практике

• Для владельцев сайтов — появляется рычаг: можно требовать оплату или гарантированно закрывать доступ, не полагаясь на добрую волю ИИ-компаний соблюдать robots.txt.
• Для ИИ-компаний — обучение на «открытом вебе» перестаёт быть бесплатным. Данные, за которые раньше не платили, теперь имеют цену, и это давит на экономику обучения.
• Для веба в целом — это шаг к модели, где доступ ботов к контенту становится предметом сделки, а не молчаливого допущения.

Осторожность в оценках

Работает механизм лишь для сайтов на Cloudflare и лишь для ботов, которых он умеет опознавать. Краулеры, маскирующиеся под обычных пользователей или под поисковики, останутся проблемой — техническая гонка «опознать против замаскироваться» никуда не денется. И цена, которую малый сайт сможет реально получить с ИИ-компании, пока под вопросом: рычаг есть, но переговорная сила у сторон разная.

Тем не менее направление задано: доступ ИИ к чужому контенту всё больше становится вопросом денег и разрешений, а не технической возможности скачать. Как настроить доступ ботов к своему сайту — в нашем гайде про robots.txt и ИИ-краулеры.