Cloudflare Verified Bots: оценка для бота, отзыв для компании
Cloudflare теперь оценивает Verified bots по robots.txt и ответам 429. Оценка присваивается конкретному боту, но по правилам санкции могут затронуть всю компанию.
Cloudflare теперь оценивает Verified bots по robots.txt и ответам 429. Оценка присваивается конкретному боту, но по правилам санкции могут затронуть всю компанию.
Проект руководства EDPB по web scraping нацелен на обучение ИИ, но дает преимущество скрейперам, способным подтвердить состав, источник и дату сбора данных.
Указанная цена «от $X за 1 000» для scraping API относится к простейшим сценариям. На реальных сайтах множитель кредитов определяет итоговую стоимость.
Два суда, одна проверка Google на ботов и противоположные решения с разницей в одиннадцать дней. Иск Google к SerpApi показывает, что решает исход дела сегодня: чей контент находится за этой проверкой.
Cloudflare теперь разделяет ботов по назначению, а не поведению: Search, Agent или Training. Настройки по умолчанию от 15 сентября мягче, чем ожидалось, но одной категории не хватает.
Oxylabs привлекли $130 млн при оценке $3,6 млрд. Bright Data преодолела $300 млн ARR. API для веб-скрейпинга среднего сегмента быстро исчезают. Задайте эти пять вопросов.
В 2026 году детекторы увеличили разрыв между сессиями headless и обычных браузеров. Если вы используете Puppeteer или Playwright в production, закладывайте дополнительные ресурсы на обход систем обнаружения.
13 июля Cloudflare выпустил Precursor. Поведенческий анализ на уровне сессии означает, что обновление страницы больше не сбрасывает ваш bot score. Почему это важно.
Маркетплейс pay-per-crawl от Cloudflare и HTTP 402 разделяют веб на лицензионные и открытые данные. Рассказываем, что изменится для команд, собирающих веб-данные в 2026 году.
Firecrawl берет в 5 раз больше за LLM-извлечение страницы по сравнению с обычным скрапингом. При 100 тысячах страниц в день математика рушится. Когда LLM-извлечение окупает себя, а когда нет.