Cloudflare запретит «смешанные» ИИ-краулеры

C 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все смешанные веб-краулеры на основе искусственного интеллекта. Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value. https://t.co/1F9HO3Fiv7 — Cloudflare (@Cloudflare) July 1, 2026 Речь о краулерах, которые используют один и тот же тип ботов для поиска, обучения моделей и ИИ-агентов. В Cloudflare требуют раздел