Главное
Раньше организация была просто строкой, вмещавшей только одного человека. Теперь это полноценная страница управления: приглашайте коллег, назначайте роли и разрешайте создавать ключи, которые оплачивает компания. Proxy Finder перестал отвечать "исчерпаны попытки" и начал точно называть возникшую проблему, а Browser был доработан так, чтобы передавать странице согласованные данные.
Что нового
Полноценное управление организациями
Раньше для добавления коллеги приходилось писать нам на почту, поэтому команды часто покупали две отдельные подписки.
Теперь у вашей организации есть отдельная страница в Dashboard с тремя ролями. Владелец привязан к подписке, с которой списываются средства за ключи, поэтому владелец всегда один, а права передаются через трансфер. Администраторы управляют использованием, биллингом и участниками. Участники работают с сервисом. Приглашения отправляются по email и подходят даже тем, кто еще не зарегистрирован.
Любой участник организации может создавать ключи организации и переносить в нее личные ключи, чтобы разработчикам не приходилось оплачивать рабочие задачи из своего кармана. Использование ключа организации списывается с тарифа владельца, и в каждом подтверждении указано, чей тариф используется. Переименовать ключ может любой участник; перегенерация, отключение и удаление доступны только владельцам и администраторам, так как эти действия мгновенно блокируют работу всех использующих ключ коллег.
Единый фильтр по владельцу работает в разделах Overview, Detailed Metrics, Recent Activity и в списке ключей. Разделы Usage & Limits и Billing остаются личными, поскольку участникам не нужен доступ к квотам владельца.
Proxy Finder больше не гадает
Ошибка "Download maxTry limit reached" выглядела одинаково, если все выходные узлы были заблокированы, недоступны или если реальная страница была получена, но отброшена вашим собственным правилом. Эти три ситуации требуют совершенно разных решений.
Неудачная задача теперь содержит attemptReport: сколько выходных узлов не ответили, сколько было отклонено известными системами защиты (с указанием конкретных вендоров), сколько отклонено вашим validate.status и сколько вернули HTTP 200 без признаков блокировки, не пройдя только ваш validate.data. К этим данным прилагается понятное текстовое резюме.
Именно последний показатель наиболее важен. Несработавшее правило проверки контента по всем старым метрикам выглядело в точности как блокировка, и никакие повторные попытки здесь не помогут. (Подробнее о том, как правила validate определяют успешность.)
Вторая часть изменений касается профиля. Proxy Finder менял выходные узлы, но не сигнатуру клиента, поэтому сайт, отклонивший один профиль браузера, отклонял его на всех узлах пула. Теперь при отказе профиль меняется во время уже запланированного повтора, поэтому количество запросов и списаний на задачу остается прежним. Если зафиксировать profile вручную, ничего не изменится. Стоит учитывать, что на самых сложных целях выходной узел по-прежнему имеет большее значение, чем отправляемый профиль.
Browser больше не противоречит сам себе
Запрос User-Agent у Browser раньше работал хуже, чем его отсутствие. Три уровня по-разному определяли источник запроса, поэтому один и тот же запрос мог одновременно заявлять о Windows, Mac и версии, которой вообще не было в пуле. Теперь значение одно, определяется один раз и передается везде: при запуске, на страницу и в создаваемые страницей воркеры.
Client hints формируются на основе этой строки, поэтому sec-ch-ua, платформа и navigator.platform согласованы с ней. В ответе возвращается строка, которую мы действительно отправили. Это важно, так как clearance cookies привязаны одновременно к точке выхода и к User-Agent. Ответ о движке рендеринга теперь также совпадает в документе и в воркере, закрывая еще один из косвенных признаков, которые выдают автоматизацию.
Вместе с этим вышли еще три исправления:
- Системные часы привязаны к точке выхода. Browser работает в часовом поясе страны, где находится выходной узел, поэтому при отображении локального времени страница покажет то же, что видит местный пользователь. Если страна неизвестна, настройки времени не меняются.
- WebRTC идет по тому же маршруту, что и весь остальной трафик. Настройки proxy охватывают то, что браузер отправляет по TCP. WebRTC не входит в этот маршрут, поэтому при запросе кандидатов ICE страница получала отдельный ответ. Теперь Browser отключает это поведение, если в запросе указана точка выхода.
- URL с анкорами больше не вызывают задержек. URL, оканчивающийся на
#reviews, раньше каждый раз приводил к таймауту. Теперь обработка идет со стандартной скоростью.
Более экономная маршрутизация и точный подсчет в Dashboard
Imperva внедряет свой скрипт не только в страницы блокировки, но и в обычные страницы. Режим Auto не мог их различить, поэтому обычные страницы впустую перенаправлялись в браузер. На сайте аренды автомобилей это приводило к расходу 75 кредитов и 27.5 секундам ожидания за шесть попыток. Теперь это одна попытка, 10 кредитов и около шести с половиной секунд. Некоторые сайты возвращают сессию внутри отказа на исходный запрос без сессии; теперь все четыре движка отправляют ее обратно перед переходом на браузер.
Карточка кредитов в Overview раньше показывала все израсходованные средства с меткой billed. При модели оплаты за результат эти суммы различаются, и разница ощутима в деньгах. Поэтому на карточке теперь есть оба показателя: списанная сумма как основное число и полный расход под ним, по каждому продукту и суммарно. Карточка Requests разделена аналогично. Выбор периода и детализация теперь вынесены в отдельные элементы управления, от 30 минут до года плюс произвольный диапазон, вместо переключателя с надписью "1D", который открывал тридцать дней.
В Playground кнопка переноса теперь предлагает профиль из последнего ответа, поэтому запрос, ушедший с автоматически подобранным профилем, повторяет рабочую конфигурацию. Все параметры описаны в API reference.
Под капотом
Proxy Finder сохраняет больше истории для каждого хоста: 32 выходных узла вместо десятка. В реальном A/B-тесте результаты совпали на простых целях и улучшились на сложных, где медианное время загрузки страницы снизилось с 5.5s до 3.8s, тогда как общая задержка по всему пулу осталась прежней. На одной из целей показатели ухудшились, и мы пока не выяснили причину, поэтому для нее проводятся отдельные замеры.
Задача, обреченная на сбой, завершится ошибкой в любом случае. Разница лишь в том, закроете ли вы тикет через минуту или потратите полдня на замеры не тех метрик.