Najważniejsze informacje
W tym tygodniu wdrożyliśmy Auto na produkcję. Skieruj je na dowolny URL, a przejdzie ono przez zoptymalizowaną pod kątem kosztów ścieżkę (próba, znalezienie wyjścia, rozwiązanie przez browser, tani replay) i zwróci zawartość razem z sesją, która ją pobrała. Pierwsze rozwiązanie Cloudflare Turnstile na minfin.bg zajmuje około 5 sekund przez Auto; kolejne zapytanie wykonuje replay przez Single za 2 kredyty. Dodaliśmy też 6 języków na blogu, w dokumentacji i na portalu aktualizacji, co zwiększyło ich liczbę z 7 do 13.
Co nowego
Auto: jeden endpoint, cztery produkty, optymalizacja kosztów
POST /api/auto już działa. Przekazujesz mu URL, a ono wybiera odpowiedni produkt (Single, Proxy Finder lub Browser), radzi sobie z wyzwaniami Cloudflare, gdy się pojawią, i zwraca response oraz obiekt session z ID proxy, cookies i User-Agent, który zadziałał. Użyj ponownie zwróconej sesji przy kolejnym wywołaniu, a Auto wykona replay przez Single za 2 kredyty, zamiast przechodzić przez całe rozwiązanie od nowa.
Każdy response zawiera teraz ślad meta, dzięki czemu widać, który krok zadziałał, czy zabezpieczenie zostało rozwiązane, ile podwywołań było potrzebnych i ile łącznie kredytów zużyto. Możesz przekazać własne reguły validate, a Auto wymusi ich przestrzeganie na każdym kroku, a nie tylko na ostatnim, więc strona z blokadą geograficzną zwrócona z kodem transportu 200 nie będzie już uznawana za sukces, tak jak to było wcześniej.
Playground w Dashboardzie otrzymał zakładkę Auto z podpiętymi parametrami timeout_ms, ignoreProxies, returnSession oraz forceProxy, więc możesz przetestować Auto z poziomu formularza przed wdrożeniem go w kodzie.
6 nowych języków
Hiszpański, francuski, japoński, koreański, brazylijski portugalski i rosyjski dołączyły do bloga, dokumentacji i portalu aktualizacji, co daje nam 13 języków zamiast dotychczasowych 7 na naszych publicznych stronach. Treści są tłumaczone przez pipeline uwzględniający role: etykiety nawigacji otrzymują prompt stawiający zwięzłość nad dosłowność, aby pasek boczny pozostał krótki, a treści postów otrzymują prompt zachowujący Markdown, dzięki czemu bloki kodu i nagłówki pozostają nienaruszone.
Przebudowaliśmy również przełącznik języków. Flagi zniknęły (flaga Hiszpanii wyklucza pozostałe 20 krajów hiszpańskojęzycznych, a ta sama logika dotyczy portugalskiego, arabskiego i angielskiego). Teraz to rodzime nazwy wskazują język, a każda opcja pokazuje również swoją nazwę w aktywnym języku interfejsu, więc możesz znaleźć "Deutsch" jako "niemski", korzystając z bułgarskiej przeglądarki. Wpisz frazę w polu wyszukiwania na górze, aby przefiltrować 13 lokalizacji do tej, której szukasz, użyj strzałek do nawigacji i naciśnij enter, aby przełączyć. Każda opcja to prawdziwy <a href> z hreflang i lang, dzięki czemu wyszukiwarki i boty AI mogą dotrzeć do każdej wersji językowej.
Obsługa Cloudflare: co dokładnie naprawiliśmy
Auto obsługuje teraz cztery sytuacje z Cloudflare, które wcześniej powodowały zwrócenie błędnego response:
- Ekran przejściowy "Just a moment" serwowany z kodem transportu 200 nie jest już uznawany za sukces. Auto przechodzi do kroku rozwiązywania zabezpieczenia, zamiast zwracać stronę z wyzwaniem.
- Nieinteraktywne wyzwania (automatyczne przejście "Checking your browser" na marathonbet) renderują się po stronie klienta po autoryzacji. Browser odpytuje aktywny DOM i kończy działanie w momencie, gdy pojawi się
cf_clearance, zamiast zwracać timeout na pustym response najwyższego poziomu. - Respektowany jest rzeczywisty status po przejściu weryfikacji. Blokada geograficzna, którą Cloudflare serwuje po rozwiązaniu wyzwania, zwraca kod 451, a nie 200 z podejrzaną zawartością.
- Interaktywne wyzwania Turnstile (minfin.bg) są rozwiązywane w pełni automatycznie. Auto najpierw próbuje rozwiązać problem przez browser z bezpośrednim wyjściem (zaufany endpoint wyjściowy przechodzi Turnstile tam, gdzie darmowe adresy z centrów danych powodują eskalację wyzwania), a w razie niepowodzenia wraca do rotacji proxy.
MCP: foura_auto i publiczne wykrywanie
Serwer MCP otrzymał narzędzie foura_auto, które odzwierciedla /api/auto. Przekaż mu URL, a otrzymasz z powrotem zawartość i sesję. Wykrywanie (narzędzia, prompty, możliwości) nie wymaga już uwierzytelniania, więc agenci mogą przeglądać zasoby przed autoryzacją, a mapa /llms.txt jest przekazywana przez proxy w katalogu głównym. Strona docelowa została przeniesiona na foura.ai/mcp w celu zachowania wartości linków, a subdomena przekierowuje tam przeglądarki kodem 301.
Pod maską
Zacieśniliśmy granice ochrony przed SSRF wokół modułów pobierających. Firewall wyjściowy na poziomie jądra blokuje dwie usługi wysyłające requesty przed otwieraniem połączeń z adresami prywatnymi, CGNAT, link-local oraz zakresami metadanych chmurowych. Weryfikacja na poziomie aplikacji obejmowała już URL, a teraz niższe warstwy również nie pozwolą na żadne obejście zabezpieczeń. Pole proxy w requeście jest traktowane tak samo: host proxy podany przez klienta, który wskazuje na adres prywatny, jest odrzucany przed wysłaniem requestu.
Dziennik aktywności (Activity log) nie przechowuje już surowych adresów URL proxy, nawet jeśli zostały one przesłane przez klienta. Widoczny response zawsze zawiera niejawne ID proxy w formacie base36, a zapisane dane są z tym zgodne. Usunęliśmy również header x-powered-by ze wszystkich odpowiedzi API.
Liczby
- Interaktywne rozwiązanie Turnstile na minfin.bg: kod 200 z zawartością strony ministerstwa w około 5 sekund, a następnie 2 kredyty za każdy replay przy użyciu zapisanej w pamięci podręcznej sesji.
- W przypadku celu z nałożonym rate limit pod dużym obciążeniem, Auto rozprasza ruch na wiele punktów wyjściowych (4 różne punkty wyjściowe użyte na hoście ze stałym wyjściem, 21 z 24 powtórzeń za 2 kredyty), zamiast kierować każdy request na to samo wyjście.
- 13 aktywnych języków na blogu, w dokumentacji i aktualizacjach.
Auto to kształt API, do którego dążyliśmy przez cały kwartał. Wskazujesz URL, otrzymujesz response, zachowujesz sesję. Najciekawsza praca odbywa się teraz na obrzeżach: mierzenie, jak dobrze zoptymalizowana pod kątem kosztów ścieżka amortyzuje się przy rzeczywistym ruchu, oraz znajdowanie wzorców validate, które wychwytują fałszywie pozytywne przypadki sukcesu, o których nikt nie myśli.