Главное
На этой неделе вышли два изменения, влияющие на данные в ответах на ваши запросы. Тела ответов больше не превращаются в кракозябры на сайтах без UTF-8, а ответы не с 200 кодом, принятые валидацией, наконец считаются успешными, а не сбоями. Мы также закрыли пару уязвимостей в клиентском API.
Что нового
Страницы не в UTF-8 возвращают читаемый текст в Single
Если вы вызывали Single для болгарских форумов, китайских интернет-магазинов, японских новостей или любых страниц с windows-1251, GBK, Big5 или Shift_JIS, тело ответа раньше возвращалось в виде битых байтов. Базовый уровень HTTP жестко использовал декодер UTF-8, поэтому страница на кириллице приходила как промоции, и восстановить исходный текст на вашей стороне было невозможно.
Это исправлено на уровне обработки запросов. Теперь Single определяет исходную кодировку (через заголовок Content-Type, затем <meta charset>, затем <meta http-equiv>) и перекодирует текст в UTF-8 до того, как тело ответа попадет в ваш JSON. Страницы в UTF-8 или ASCII пропускаются без изменений. Бинарный контент вроде изображений или PDF никогда не декодируется. Если вам нужны необработанные байты, returnBuffer: true по-прежнему возвращает исходный буфер.
Работает по умолчанию, никаких флагов включать не нужно. Страницы, которые открывались раньше, продолжают работать; страницы, возвращавшие мусор, теперь возвращают читаемый текст. Пользователям браузера об этом тоже можно не думать, Chromium декодирует кодировки нативно.
Правила validate теперь определяют успешность запроса
Когда вы задавали validate для запроса (например, validate.status.accept = [200, 403]), движок запросов и раньше соблюдал ваше правило и возвращал ответ без ошибки. Но наш внутренний классификатор выше по цепочке игнорировал правило и относил всё, что не являлось точным кодом 200, к application_fail. Было два последствия: принятый вами статус 403 отображался в Dashboard как сбой, и поскольку тарифицируются только успешные запросы, плата за эти доставленные ответы также не списывалась.
Теперь классификатор учитывает то, что объявлено в validate. Запросы с validate считаются успешными всегда, когда движок обработал их без ошибок, независимо от HTTP-статуса. Запросы без validate работают как раньше (успех только при 200), поэтому старый сценарий не затронут.
Исправление действует только для новых запросов: исторические записи сохраняют свой статус, а новые запросы классифицируются корректно. Поэтому, если вы видели App Fail для ответов, которые считали валидными, причина была в этом.
Усиление безопасности клиентского API
Мы выкатили нулевую волну правок по итогам аудита безопасности клиентского API:
- CORS теперь ограничен доменом
https://foura.ai. Предыдущая конфигурация зеркалировала любой origin с передачей учетных данных, что создает классические условия для CSRF. Браузерные вызовы с того же домена и ваши серверные вызовы API не затронуты. - Маршрут метрик, на котором работает таймлайн Activity, раньше принимал произвольный фильтр
outcome, попадавший напрямую в запрос. Теперь он ограничен белым списком известных значений. Уязвимость нельзя было эксплуатировать из обычного аккаунта, но закрыть ее стоило.
Ни одно из них не меняет контракт API. При обычном использовании вы их не заметите. Но обнаружить проблему и закрыть ее до того, как кто-то обратит внимание, все равно стоит отдельного упоминания.
Метки в Activity теперь соответствуют Overview
Небольшое улучшение. Таблица Activity в вашем Dashboard раньше отображала сырые строки исходов вроде Application_fail, тогда как чипы, кольцевая диаграмма и таймлайн в Overview показывали понятные метки (App Fail) с цветовым кодированием каждого исхода. Те же данные, но две разные подачи. Теперь они синхронизированы и используют одну и ту же карту меток и цветов, так что статус строки выглядит одинаково везде, где бы вы его ни проверяли.
Цифры
На этой неделе новых показателей по задержкам или доле успешных запросов нет. Большая часть изменений касается корректности и безопасности, где правильная метрика это "перестать ошибаться", а не "работать быстрее". В дайджесте на следующей неделе должны появиться данные по пропускной способности из нескольких задач в работе.