Два суда, одна проверка Google на ботов и противоположные решения с разницей в одиннадцать дней. Иск Google к SerpApi показывает, что решает исход дела сегодня: чей контент находится за этой проверкой.
Cloudflare теперь разделяет ботов по назначению, а не поведению: Search, Agent или Training. Настройки по умолчанию от 15 сентября мягче, чем ожидалось, но одной категории не хватает.
Oxylabs привлекли $130 млн при оценке $3,6 млрд. Bright Data преодолела $300 млн ARR. API для веб-скрейпинга среднего сегмента быстро исчезают. Задайте эти пять вопросов.
В 2026 году детекторы увеличили разрыв между сессиями headless и обычных браузеров. Если вы используете Puppeteer или Playwright в production, закладывайте дополнительные ресурсы на обход систем обнаружения.
13 июля Cloudflare выпустил Precursor. Поведенческий анализ на уровне сессии означает, что обновление страницы больше не сбрасывает ваш bot score. Почему это важно.
Маркетплейс pay-per-crawl от Cloudflare и HTTP 402 разделяют веб на лицензионные и открытые данные. Рассказываем, что изменится для команд, собирающих веб-данные в 2026 году.
Firecrawl берет в 5 раз больше за LLM-извлечение страницы по сравнению с обычным скрапингом. При 100 тысячах страниц в день математика рушится. Когда LLM-извлечение окупает себя, а когда нет.
Провайдеры рекламируют 400 миллионов резидентных IP. Но в 2026 году репутация IP как защита рухнула, и размер пула proxy перестал определять реальный успех.
Ваш заголовок User-Agent больше не имеет значения. Отпечатки на уровне соединения классифицируют ботов с точностью 98.6% еще до чтения заголовков. Вот что изменилось в 2026 году.
Сбор обучающих данных для ИИ превратился из технической задачи в проблему комплаенса. Закон ЕС об ИИ и растущие требования к поставщикам меняют правила игры до 2027 года.