Главное
Proxy Finder научился работать с привязкой к хосту. Он больше не выбирает просто быстрый в целом proxy, а находит тот, который уже работал с целевым сайтом. Browser получил исправление стабильности, устраняющее сбои при холодном старте. А во вкладках Metrics и Activity в Dashboard теперь можно фильтровать данные по продукту.
Что нового
Proxy Finder выбирает proxies, которые действительно работают с вашей целью
Это главное изменение недели, и для его внедрения потребовалось несколько итераций.
Раньше: Proxy Finder выбирал из общего пула по общей пригодности. Два requests к одному целевому сайту использовали один и тот же широкий пул, хотя большинство proxies в этом пуле не работали на этом конкретном сайте.
Теперь: для каждого целевого хоста, к которому вы делаете запрос, Proxy Finder отслеживает, какие proxies успешно доставили ответ. Новые requests выбирают пару вариантов из проверенного набора, используют небольшую выборку неизвестных для продолжения обучения и избегают тех, которые там уже не сработали. Проверенный набор привязан к хосту и сохраняется между перезапусками.
Если вы собираете данные с защищенных сайтов, где работает лишь малая часть proxies, вы заметите разницу. Меньше неудачных попыток, меньше повторов, меньше впустую потраченного бюджета.
Мы развернули это под флагом, провели шесть итераций для устранения шероховатостей (одна из них, ограничение логики обучения для стабильности при низком трафике, потребовала еще двух проходов) и на этой неделе включили поведение по умолчанию в production.
Browser работает надежно после периодов простоя
Два исправления, один результат.
Во-первых, у Browser была ошибка устаревшего состояния при холодном старте. После длительного простоя базовый слой отображения удерживал блокировку, которая мешала следующему запуску. Ваш первый request после периода неактивности мог завершиться ошибкой или зависнуть. Теперь мы снимаем блокировку перед запуском.
Во-вторых, публичный путь API для маршрутизации к Browser в некоторых окружениях указывал не туда. Трафик перенаправлялся некорректно без каких-либо уведомлений. Теперь конфигурация маршрутизации исправлена.
Если вы замечали нестабильное поведение при первом request к Browser при небольшом объеме трафика, дело было в этом.
Фильтрация Metrics и Activity по продукту
На страницах Metrics и Activity в Dashboard появился фильтр по продуктам. Нажмите Single, Browser или Proxy Finder, и на графиках отобразится трафик только этого продукта. Это полезно, когда нужно посмотреть задержку или ошибки для конкретной части инфраструктуры, а не общий агрегированный вид.
Небольшое обновление сайта
Страница /jobs уже работает. Мы ищем Founding Engineer и Engineer. На обеих страницах подробно описаны задачи, план на первый месяц и способ подачи отклика.
Мы также оптимизировали мобильное отображение превью Dashboard на главной странице, обновили изображения для соцсетей для девяти публичных маршрутов, обновили robots.txt под реалии AI в 2026 году (разрешили поисковых роботов и предпросмотр для соцсетей, заблокировали краулеры для обучения моделей) и обновили Terms of Service, уточнив правила допустимого использования и добавив оговорку о юрисдикции Софии с исключением для потребителей из ЕС.
Под капотом
Внутреннее переименование, не затрагивающее клиентов: формулировка "anti-bot bypass" на всем сайте была заменена на "anti-bot resilience". Продукт и его поведение не изменились, но старая формулировка вызывала срабатывание фильтров модерации рекламных платформ.
Мы пока не публикуем показатели новой логики выбора. Нам нужны две недели чистого трафика в production, прежде чем делать заявления об эффективности. Реальные цифры покажем, когда они у нас будут.
Последний месяц мы перестраивали слой, который решает, какой proxy использовать для конкретной цели. И самое сложное здесь не алгоритм, а оценка того, действительно ли он помогает под реальной нагрузкой. Этим мы и занимаемся в мае.