Индустриален анализ

Индустриален анализ

← Всички публикации

Cloudflare Verified Bots: оценявани по бот, отнемани за цялата компания

Cloudflare вече оценява Verified ботовете според robots.txt и грешки 429. Рангът се отнася за един бот, но документацията позволява наказанието да засегне цялата ви компания.

Насоки на EDPB за web scraping: печелят таргетираните скрапери

Проектонасоките на EDPB за web scraping са насочени към обучението на AI, но дават предимство на всеки скрапер, който може да покаже какво е събрал, от кои сайтове и на коя дата.

Ценообразуване на Web Scraping API: Какво крие обявената цена

Цената "от $X на 1 000" за scraping API е най-евтината опция в таблицата. При сайтовете, за чието извличане всъщност ви плащат, реалната цена се определя от множител на кредитите.

Делото Google срещу SerpApi: Проверката за ботове не е същината

Два съда, една проверка за ботове на Google, противоположни решения в рамките на 11 дни. Делото Google срещу SerpApi показва решаващия фактор днес: чие съдържание стои зад проверката.

Search, Agent, Training: новите правила за ботове в мрежата

Cloudflare вече класифицира ботовете по цел, а не по поведение: Search, Agent или Training. Настройките по подразбиране от 15 септември са по-тесни от очакваната паника, а едно поле липсва.

Web scraping се консолидира. Ето какво се променя.

Oxylabs набра $130M при оценка от $3.6B. Bright Data премина $300M ARR. Средният пазар за web scraping API изчезва бързо. Задайте тези пет въпроса.

Защо headless браузърите пропускат повече данни през 2026 г.

Детекторите увеличиха разликата между headless и нормалните браузърни сесии през 2026 г. Ако използвате Puppeteer или Playwright в продукция, планирайте данък за детекция.

Cloudflare Precursor: Сесията е новият отпечатък

Cloudflare пусна Precursor на 13 юли. Поведенческото засичане на ниво сесия означава, че презареждането на страницата вече не нулира вашия bot score. Защо това е важно.

Pay-Per-Crawl разделя мрежата на две

Пазарът за pay-per-crawl на Cloudflare и HTTP 402 разделят мрежата на лицензирани и отворени данни. Ето какво се променя за екипите, събиращи уеб данни през 2026 г.

Когато LLM extraction спира да се изплаща

Firecrawl таксува 5 пъти повече за LLM-extract на страница в сравнение със scrape. При 100K страници на ден математиката се срива. Кога си струва цената за LLM extraction и кога не.