Highlights
Многие сайты открывают главную страницу всем подряд, но блокируют доступ на шаг глубже. Теперь Auto заходит через парадный вход: получает сессию на входной странице, а затем запрашивает нужный URL вместе с ней. Browser на этой неделе получил более серьезные доработки. Он проходит проверку чекбоксом при параллельных запросах к одной странице, а если страница остается закрытой, сообщает подробности увиденного вместо одного шаблонного слова.
What's New
Auto открывает страницы, требующие наличия сессии
Листинг eBay отклоняет холодный запрос на любом из наших маршрутов. Тот же URL открывается, если запрос содержит набор cookie, который главная страница eBay выдает любому посетителю. Без логина, без чужого аккаунта, ровно то же самое, что можно сделать руками во вкладке.
Auto теперь делает это автоматически. Если выходная нода доходит до origin, но получает отказ на внутренней странице, Auto запрашивает корень сайта через ту же ноду, сохраняет полученные cookie и повторяет запрос. Ответ сообщает о том, что это произошло: победившая ступень обозначается как warmup.
Но самое интересное здесь стоимость. Эта сессия остается переносимой, поэтому набор cookie не привязан намертво к ноде, на которой был получен. Последующие запросы воспроизводятся через /api/proxy и попадают на /api/single по цене 2 кредита. Это та же цепочка эскалации и повтора, о которой мы писали в статье про Cloudflare clearance, где собственные сессионные cookie вендора заменяют cf_clearance.
Ограничения заданы намеренно: две попытки на запрос, на разных нодах, только после сбоя прямого обращения к целевому URL и только если нода изначально смогла достучаться до origin. Поэтому сайт, который просто блокирует нас, тратит два дополнительных подзапроса один раз, без бесконечных циклов. Подробнее о том, как лестница выбирает ступени, читайте в материале про Auto.
Browser проходит чекбоксы при одновременных запросах
Browser теперь успешно решает проверку чекбоксом при конкурентных запросах к одной и той же странице. Три параллельных запроса к новостному сайту за Turnstile: 5.2s, 5.8s, 9.1s.
Вместе с этим вышли два небольших изменения. Клик засчитывается только тогда, когда виджет действительно исчез, поскольку Cloudflare запрашивает проверку заново чаще, чем можно ожидать (первый клик регулярно не завершает процесс). Страница, прошедшая проверку, возвращает defenseSolved: true в вызове, который ее разблокировал. Именно за этот вызов списывается оплата за решение.
Заблокированная страница сообщает, что именно увидел solver
Статус "Timeout" указывает на задержки сети. В большинстве случаев проблема не в задержках, а в том, что рабочий ответ ждет на соседней ноде.
Когда сервис проверки отклоняет попытку, он выдает новую проверку и записывает собственный маркер повтора в cookie jar. Browser считывает этот маркер. Не дожидаясь истечения таймаута, он возвращает ответ примерно через 17 секунд с указанием вендора, количества выполненных кликов и статуса получения clearance:
Timeout after 12s: the cloudflare challenge did not complete from this exit
(2 checkbox presses, clearance granted, challenge re-issued by the site)
Одна из этих строк сообщает, что request нужно отправить другим способом. Другая не говорит ничего.
Ошибки на уровне API теперь тоже читаются понятнее. Request, превысивший время ожидания, возвращается как timeout, недоступный сервис возвращается как unavailable, и ни один из них не описывается как проблема с proxy, если request вообще шел без proxy. timeout_ms для вызовов Browser соблюдается вплоть до полных 120 секунд, поддерживаемых API, поэтому медленный целевой ресурс получает заданный вами лимит времени, а вы видите вердикт самого движка, а не шлюза. Параметры перечислены в API reference.
Платежные реквизиты и исправление инвойса в месяце его выставления
В болгарских инвойсах в блоке получателя указывается представитель компании (MOL). Раньше система не собирала эти данные, поэтому строка всегда оставалась пустой. Теперь это поле есть в Billing details.
В таблице Invoices также появилась опция Update details для инвойсов текущего месяца, если их зафиксированные данные отличаются от текущего профиля плательщика. В диалоговом окне перечисляются все изменяемые поля и их новые значения, четко указано, что номер, даты и суммы остаются без изменений, а подтверждение служит вашим согласием, зафиксированным на нашей стороне. Для инвойса в активном окне редактирования, не требующего изменений, отображается "Editable until" с датой, поэтому срок виден сразу, а не задним числом.
Под капотом
Каждый скрипт для Dashboard отдается с нашего собственного origin, а авторизация перенаправляет исключительно на пути внутри этого сайта.
Развертывание сервиса рендеринга выполняется строго по одному серверу за раз: каждый сервер должен успешно отдать реальную страницу, прежде чем обновляется следующий.
На портале статуса endpoint issues отдает открытые и решенные инциденты через публичный API синхронно со списком на странице.
Понятный отказ с явной причиной стоит ровно один вызов. Ожидание, заканчивающееся ошибкой "Timeout", вынуждает гадать о дальнейших действиях по той же цене за запрос. Ошибки это часть продукта, и на этой неделе мы начали относиться к ним именно так.