Нокаут под видом проверки
5 июля 2026 года Cloudflare официально запустила функцию автоматической блокировки так называемых смешанных краулеров — ботов, которые притворяются легитимными поисковыми роботами (Googlebot, Bingbot), но на деле выкачивают данные для обучения AI-моделей или генерации ответов. Звучит как техническая мелочь? На деле — тектонический сдвиг для всего веба.
Раньше владельцы сайтов мучительно гадали: пускать Googlebot — и получить трафик, но заодно отдать контент OpenAI, Anthropic и десяткам стартапов, которые маскируются под настоящих ботов. Robots.txt давно превратился в фиговый листок — AI-компании просто игнорируют директивы. Теперь Cloudflare берет правосудие в свои руки.
Суть в том, что гибридный краулер — это бот, который в одном запросе тащит User-Agent Googlebot, а в следующем — уже кастомного скрейпера. Cloudflare анализирует паттерны поведения: частоту запросов, IP-пулы, тайминги. Если бот ведёт себя подозрительно — ему закрывают доступ по протоколу AI-ботов.
Google в зоне турбулентности
Первыми под раздачу попали… не AI-стартапы, а сам Google. Потому что Googlebot — тоже не подарок. После ребрендинга Google Extended компания начала использовать поисковый краулер для обучения Gemini. Формально это «персонализация поиска», но по факту — контент улетает в большую языковую модель.
Cloudflare не церемонится: если бот Google демонстрирует признаки смешанного поведения (например, скачивает страницу целиком, а потом делает запрос API для генерации ответа), он блокируется. Владельцы сайтов, включившие защиту, уже заметили падение индексации на 20–40%. Паника? Скорее, прозрение.
Важный нюанс: Googlebot и Bingbot по умолчанию не блокируются — только если их поведение совпадает с паттернами скрейпинга. Cloudflare оставляет за вебмастером право дать «зелёный свет» поисковикам через панель управления.
Как это выглядит в реальности
Представьте: ваш сайт — авторитетный блог по AI-железу. К вам ломятся сотни краулеров. Одни — честные поисковики, другие — скрейперы, третьи — гибриды. Cloudflare теперь ставит фильтр: «Если в течение 10 секунд с одного IP-пула пришли запросы с User-Agent Googlebot и User-Agent GPTBot — значит, это один оператор. Блокируем».
Механизм работает на основе данных из AI-прокси Cloudflare (запущенного ещё в 2025 году) и поведенческого анализа. И да — это не blocklist, а скорее динамический детектор аномалий.
Cloudflare также обновляет свою базу сигнатур AI-краулеров каждую неделю, отслеживая новые User-Agent от OpenAI, Anthropic, Cohere и даже маленьких студий. Если вы хотите разобраться в настройках WAF, чтобы не заблокировать случайно легитимных ботов — читайте наш гайд по тонкой настройке DDoS и WAF.
Кто выигрывает, кто проигрывает
Выигрывают: создатели уникального контента. Теперь они могут кормить AI-модели только по договору (монетизация данных, API-ключи). Проигрывают — AI-компании, которые привыкли халявить. OpenAI уже жалуется, что качество знаний Gemini снизится, но это смешно: пусть платят авторам.
Но есть и жертвы — сайты, завязанные на Google Discover и новостной трафик. Если Googlebot начнёт блокироваться из-за ложных срабатываний, посещаемость рухнет. Cloudflare обещает «умные исключения» для проверенных поисковиков, но пока это скорее благие намерения. Совет: регулярно проверяйте логи, кто и как краулит ваш сайт. AI-модерация тоже даёт сбои — не дайте фильтрам отрубить живой трафик.
Три сценария для вебмастера
1. Полная блокировка гибридов — идеально, если вы не зависите от поискового трафика (монетизация через подписки, платные API). Включайте AI-ботов в чёрный список — и спите спокойно.
2. Селективный пропуск — для тех, кто хочет остаться в поиске, но не кормить конкурентов. В панели Cloudflare можно добавить исключения для конкретных IP-диапазонов Google. Но помните: гибридный детектор может ошибиться, если ваш сайт активно обращается к внешним AI-сервисам (например, через чат-бота на сайте).
3. Максимальная индексация — рискованный вариант для сайтов, которые сами используют AI-генерацию ответов. Вы хотите, чтобы краулеры воровали ваш контент? Тогда отключайте блокировку совсем. Но потом не удивляйтесь, что ваши статьи появляются в ответах ChatGPT без ссылки на вас (да, интернет не готов к AI-агентам).
Почему это только начало
Cloudflare не первая — Akamai и Fastly тоже экспериментируют с блокировкой AI-краулеров. Но Cloudflare — самый массовый игрок (более 20% сайтов мира). Их решение превращает гибридную блокировку в стандарт. Следующий шаг — появление AI-контентных контрактов (плата за обучение на ваших данных) через партнёрку Cloudflare. Уже ходят слухи о запуске маркетплейса, где владельцы сайтов будут продавать доступ к своему контенту напрямую AI-компаниям.
Не верьте тем, кто говорит, что AI-скрейпинг можно победить одним robots.txt. Cloudflare показала: единственный способ — поведенческий анализ на уровне сети. И это больно бьёт по SEO, которое и так трещит по швам из-за AI-ассистентов.
Совет на ближайшие месяцы: зайдите в панель Cloudflare, найдите раздел «AI Crawler Management» и включите блокировку смешанных краулеров. Да, ваш Яндекс-Вебмастер сначала загрустит — но через неделю вы увидите, сколько трафика на самом деле уходило в пустоту. А если захотите изящно монетизировать доступ к данным — присмотритесь к Fibr AI и концепции персонализированных веб-опытов.
