Аналитика индустрии

Аналитика индустрии

← Все статьи

Cloudflare Verified Bots: оценка для бота, отзыв для компании

Cloudflare теперь оценивает Verified bots по robots.txt и ответам 429. Оценка присваивается конкретному боту, но по правилам санкции могут затронуть всю компанию.

Руководство EDPB по web scraping: выигрывают точечные скрейперы

Проект руководства EDPB по web scraping нацелен на обучение ИИ, но дает преимущество скрейперам, способным подтвердить состав, источник и дату сбора данных.

Цены на Web Scraping API: что скрыто за базовым тарифом

Указанная цена «от $X за 1 000» для scraping API относится к простейшим сценариям. На реальных сайтах множитель кредитов определяет итоговую стоимость.

Иск Google к SerpApi: дело не в проверке на ботов

Два суда, одна проверка Google на ботов и противоположные решения с разницей в одиннадцать дней. Иск Google к SerpApi показывает, что решает исход дела сегодня: чей контент находится за этой проверкой.

Search, Agent, Training: новые правила для ботов в вебе

Cloudflare теперь разделяет ботов по назначению, а не поведению: Search, Agent или Training. Настройки по умолчанию от 15 сентября мягче, чем ожидалось, но одной категории не хватает.

Веб-скрейпинг консолидируется. Вот что меняется.

Oxylabs привлекли $130 млн при оценке $3,6 млрд. Bright Data преодолела $300 млн ARR. API для веб-скрейпинга среднего сегмента быстро исчезают. Задайте эти пять вопросов.

Почему headless браузеры допускают больше утечек в 2026 году

В 2026 году детекторы увеличили разрыв между сессиями headless и обычных браузеров. Если вы используете Puppeteer или Playwright в production, закладывайте дополнительные ресурсы на обход систем обнаружения.

Cloudflare Precursor: сессия как новый отпечаток

13 июля Cloudflare выпустил Precursor. Поведенческий анализ на уровне сессии означает, что обновление страницы больше не сбрасывает ваш bot score. Почему это важно.

Pay-Per-Crawl разделяет интернет на две части

Маркетплейс pay-per-crawl от Cloudflare и HTTP 402 разделяют веб на лицензионные и открытые данные. Рассказываем, что изменится для команд, собирающих веб-данные в 2026 году.

Когда извлечение данных с помощью LLM перестает окупаться

Firecrawl берет в 5 раз больше за LLM-извлечение страницы по сравнению с обычным скрапингом. При 100 тысячах страниц в день математика рушится. Когда LLM-извлечение окупает себя, а когда нет.