Главное
Нажмите на любой request в Activity, чтобы увидеть полный payload. Еще один клик открывает его обратно в Playground, уже заполненным и готовым к повторному запуску. Мы также выявили класс «proxy», которые возвращают ваш же собственный request в виде фальшивого response, и заблокировали им возможность засорять ваши данные.
Что нового
Activity → Playground: повтор любого request
Каждый API вызов возвращает header X-Foura-Request-Id. Этот же id отображается рядом с request в Activity. Нажмите на любую строку, чтобы увидеть полную картину: время запуска, использованный ключ, request body, response, статус-коды и затраченное время. Нажмите «Open in Playground», и request загрузится в форму, уже заполненный данными.
Раньше для повторного запуска приходилось собирать request заново по памяти. Теперь Activity хранит историю, а Playground служит кнопкой повтора.
Несколько технических деталей. Мы храним последние 200 payload для каждого API ключа в течение 24 часов. После этого старые записи вытесняются новыми. Когда срок хранения payload истекает, диалоговое окно сообщает об этом, вместо того чтобы показывать сбивающий с толку null или «(empty body)», как раньше.
Id запроса также можно сопоставлять. Записывайте response header X-Foura-Request-Id рядом с собственным id запроса на стороне клиента, и поиск нужной строки в Activity позже займет ровно одну вставку из буфера.
Захват данных вынесен за пределы критического пути. Ваш API request никогда его не ждет. Если хранилище захваченных данных недоступно, вызов все равно выполняется; диалоговое окно просто покажет позже «no body captured».
Валидация по response body
В раздел Validate в Playground добавлены правила для содержимого body. Можно задать условие «успешно, только если response содержит X» или «ошибка, если содержит Y», перечисляя несколько вариантов через |. Работает для Single и Proxy. Полезно, когда статус-коды скрывают то, что произошло на самом деле.
Понятные статусы для ответов без body
У неудавшихся request нет response body для отображения. Старый интерфейс показывал в таких случаях null или «(empty body)», что легко можно было принять за реальный пустой response. Теперь диалоговое окно различает три ситуации: request завершился ошибкой (с выводом реального сообщения об ошибке), payload не был захвачен или сервер действительно вернул ноль байт.
Мелочь, но она исключает постоянный вопрос: «стоп, это был такой response или баг интерфейса?».
Кнопка сброса в Playground
Возвращает форму активного endpoint к значениям по умолчанию в один клик. По умолчанию unblocker и tryJsonData остаются включенными, так как это покрывает 90% сценариев.
Под капотом
Обнаружение honeypot proxy
Некоторые «proxy» в сети на самом деле ничего не пересылают. Они отправляют ваш же request обратно в виде простого текстового дампа переменных сервера (HTTP-метод, headers, целевой хост), чтобы оператор мог перехватить содержащиеся в нем данные. Мы сталкивались с тем, что один и тот же proxy пересылал один request, зеркалил следующий и отдавал 502 на третьем, и все это в рамках одной сессии.
Валидатор тела ответа теперь распознает сигнатуру дампа до того, как response покинет наш edge. Single возвращает честную ошибку. Proxy Finder выполняет повторную попытку с другим proxy. Browser наследует ту же защиту из общего слоя HTTP. Так что вы увидите меньше мусорных строк в Activity, а ваши скраперы не получат данные, которые только кажутся полезными, являясь на самом деле проверкой.
Репутация пока не меняется. Этот proxy остается в пуле на данный момент. Мы просто отказываемся отдавать вам его ложный ответ.
Итого: если request попадает в Activity с пометкой критической ошибки там, где раньше отображался сомнительный "успех", это сработала защита. Лучше чистый сбой, чем поврежденная запись.