Highlights
На этой неделе состоялся релиз Auto в production. Передайте ему любой URL, и он пройдет по оптимизированной по стоимости цепочке (probe, поиск exit, browser solve, дешевый replay), вернув контент и сессию, которая его получила. Холодный обход Cloudflare Turnstile на minfin.bg через Auto занимает около 5 секунд, а следующий вызов выполняет replay через Single за 2 кредита. Мы также добавили 6 языков для блога, документации и портала обновлений, увеличив их число с 7 до 13.
What's New
Auto: один endpoint, четыре продукта, оптимизация расходов
POST /api/auto запущен. Вы передаете ему URL, а он выбирает подходящий продукт (Single, Proxy Finder или Browser), обрабатывает проверки Cloudflare при их появлении и возвращает response вместе с объектом session, содержащим ID proxy, cookies и сработавший User-Agent. Повторное использование возвращенной сессии при следующем вызове позволяет Auto выполнять replay через Single за 2 кредита вместо повторного прохождения полной проверки.
Каждый response теперь содержит трассировку meta , позволяющую увидеть, какой шаг сработал, была ли обойдена защита, сколько подзапросов потребовалось и сколько всего кредитов было потрачено. Вы можете передать собственные правила validate, и Auto применит их на каждом шаге, а не только на последнем, поэтому страница гео-блокировки с HTTP-статусом 200 больше не будет ошибочно считаться успешным результатом.
В интерактивной песочнице Dashboard появилась вкладка Auto с поддержкой параметров timeout_ms, ignoreProxies, returnSession и forceProxy, что позволяет протестировать Auto через форму перед интеграцией в код.
6 новых языков
Испанский, французский, японский, корейский, бразильский португальский и русский языки были добавлены в блог, документацию и портал обновлений, увеличив общее число языков на наших публичных ресурсах с 7 до 13. Контент переводится с помощью конвейера, учитывающего контекст: для элементов навигации используется инструкция, приоритезирующая краткость, чтобы боковая панель оставалась компактной, а для основного текста статей применяется инструкция сохранения разметки, чтобы блоки кода и заголовки оставались нетронутыми.
Переключатель языков также был переработан. Мы отказались от флагов (флаг Испании отдаляет другие 20 испаноязычных стран, и та же логика применима к португальскому, арабскому и английскому языкам). Теперь выбор строится на самоназваниях, при этом каждый вариант также отображает свое название на текущем языке интерфейса, так что вы сможете найти "Deutsch" как "немски" при использовании болгарского браузера. Введите запрос в поле поиска вверху, чтобы отфильтровать 13 локалей, используйте стрелки для перемещения и нажмите Enter для выбора. Каждый вариант представляет собой настоящий тег <a href> с атрибутами hreflang и lang, что позволяет поисковым системам и ИИ-краулерам индексировать все языковые версии.
Обработка Cloudflare: что именно было исправлено
Auto теперь обрабатывает четыре сценария Cloudflare, которые ранее приводили к некорректным response:
- Промежуточная страница "Just a moment", возвращаемая со статусом 200, больше не считается успешным результатом. Auto переходит к шагу обхода защиты вместо того, чтобы возвращать вам страницу проверки.
- Неинтерактивные проверки (автоматический обход "Checking your browser" на marathonbet) рендерятся на стороне клиента после авторизации. Browser опрашивает активный DOM и завершает работу в момент получения
cf_clearanceвместо ожидания по таймауту на пустом response верхнего уровня. - Учитывается реальный статус после прохождения проверки. Гео-блокировка, которую Cloudflare показывает после успешного обхода, возвращает статус 451, а не 200 с подозрительным содержимым.
- Интерактивная защита Turnstile (minfin.bg) обходится полностью. Auto сначала пробует выполнить browser solve с прямым выходом (доверенный исходящий endpoint проходит Turnstile там, где бесплатные IP дата-центров вызывают усложнение проверки), а в случае неудачи переходит к подбору proxy.
MCP: foura_auto и публичное обнаружение
В MCP-сервер был добавлен инструмент foura_auto, который дублирует /api/auto. Передайте ему URL, чтобы получить контент и сессию. Обнаружение (инструменты, промпты, возможности) теперь не требует аутентификации, чтобы агенты могли изучить их перед авторизацией, а карта /llms.txt проксируется в корне. Целевая страница была перенесена на foura.ai/mcp для сохранения веса ссылок, а поддомен выполняет 301-редирект для браузеров.
Under the Hood
Мы усилили защиту от SSRF вокруг загрузчиков. Сетевой экран исходящего трафика на уровне ядра блокирует двум сервисам отправки запросов возможность открывать соединения с приватными диапазонами, CGNAT, link-local и диапазонами метаданных облачных провайдеров. Проверка на уровне приложения уже охватывала URL, а теперь и низкоуровневые пути исключают любые обходы. Поле proxy в request обрабатывается аналогично: хост proxy, переданный клиентом и разрешающийся в приватный адрес, отклоняется до отправки запроса.
В журнале Activity log больше никогда не сохраняется исходный URL proxy, даже если клиент передал его напрямую. Отображаемый response всегда содержит непрозрачный ID proxy в формате base36, и сохраненные данные соответствуют ему. Мы также удалили header x-powered-by из каждого API response.
Numbers
- Интерактивный обход Turnstile на minfin.bg: статус 200 с контентом министерства примерно за 5 секунд, затем по 2 кредита за каждый replay через кэшированную сессию.
- На целях с ограничением частоты запросов (rate limit) под параллельной нагрузкой Auto теперь распределяет запросы по нескольким выходам (использовано 4 разных выхода на хосте с фиксированным выходом, 21 из 24 replay выполнены за 2 кредита) вместо отправки всех запросов через один выход.
- 13 языков запущены в блоге, документации и обновлениях.
Auto представляет собой именно ту форму API, к которой мы стремились весь квартал. Укажите URL, получите response, сохраните сессию. Самая интересная работа теперь сосредоточена на деталях: оценке того, насколько эффективно оптимизированная по стоимости цепочка распределяет расходы на вашем реальном трафике, и поиске шаблонов validate, которые выявляют ложноположительные успешные случаи, о которых никто не задумывается.