Веб-скрейпинг консолидируется. Вот что меняется.
Oxylabs привлекли $130 млн при оценке $3,6 млрд. Bright Data преодолела $300 млн ARR. API для веб-скрейпинга среднего сегмента быстро исчезают. Задайте эти пять вопросов.
Почему headless браузеры допускают больше утечек в 2026 году
В 2026 году детекторы увеличили разрыв между сессиями headless и обычных браузеров. Если вы используете Puppeteer или Playwright в production, закладывайте дополнительные ресурсы на обход систем обнаружения.
Cloudflare Precursor: сессия как новый отпечаток
13 июля Cloudflare выпустил Precursor. Поведенческий анализ на уровне сессии означает, что обновление страницы больше не сбрасывает ваш bot score. Почему это важно.
Pay-Per-Crawl разделяет интернет на две части
Маркетплейс pay-per-crawl от Cloudflare и HTTP 402 разделяют веб на лицензионные и открытые данные. Рассказываем, что изменится для команд, собирающих веб-данные в 2026 году.
Когда извлечение данных с помощью LLM перестает окупаться
Firecrawl берет в 5 раз больше за LLM-извлечение страницы по сравнению с обычным скрапингом. При 100 тысячах страниц в день математика рушится. Когда LLM-извлечение окупает себя, а когда нет.
Почему размер пула proxy перестал иметь значение в 2026 году
Провайдеры рекламируют 400 миллионов резидентных IP. Но в 2026 году репутация IP как защита рухнула, и размер пула proxy перестал определять реальный успех.
Постквантовый TLS и отпечатки на уровне соединения сломали базовый скрейпинг
Ваш заголовок User-Agent больше не имеет значения. Отпечатки на уровне соединения классифицируют ботов с точностью 98.6% еще до чтения заголовков. Вот что изменилось в 2026 году.
Закон ЕС об ИИ прекращает бесконтрольный сбор обучающих данных
Сбор обучающих данных для ИИ превратился из технической задачи в проблему комплаенса. Закон ЕС об ИИ и растущие требования к поставщикам меняют правила игры до 2027 года.
Обнаружение ботов стало поведенческим. Большинство скрейперов остались прежними.
Обнаружение ботов перешло от блокировки по IP к отпечаткам TLS, сигналам браузера и поведенческому анализу. Большинство систем скрейпинга ведут борьбу не на том фронте.
Тарпиты для веб-скрейпинга: кто на самом деле оказывается в ловушке
Сайты развертывают тарпиты, которые ловят AI-краулеры и скармливают им мусорные данные. Но эти ловушки не отличают GPTBot от вашего трекера цен.