Wybór odpowiedniego endpointu
FourA oferuje cztery endpointy do obsługi requestów, każdy zoptymalizowany pod kątem innego scenariusza. Wybór odpowiedniego oszczędza czas, obniża koszty i zwiększa wskaźnik sukcesu.
Szybki przewodnik wyboru
Użyj endpointu auto, gdy:
- Obsługujesz nową stronę i nie wiesz jeszcze, jakich wymaga zasobów
- Chcesz jednego wywołania, które automatycznie obsłuży tryb direct, rotację proxy oraz fallback do przeglądarki
- Chcesz sesji, którą można tanio odtworzyć przy kolejnym wywołaniu do tego samego hosta
Użyj endpointu single, gdy:
- Strona jest renderowana po stronie serwera (nie wymaga JavaScriptu)
- Wymagasz maksymalnej szybkości (zazwyczaj poniżej 1 sekundy)
- Odpytujesz API lub statyczne strony HTML ze sprawdzonego wcześniej hosta
Użyj endpointu browser, gdy:
- Strona wymaga JavaScriptu do wyrenderowania zawartości
- Zawartość doładowuje się po początkowym załadowaniu strony
- Potrzebujesz w pełni wyrenderowanego drzewa DOM
Użyj endpointu proxy, gdy:
- Docelowa strona aktywnie blokuje requesty
- Wymagana jest rotacja pomiędzy wieloma adresami IP
- Poprzednie próby zwróciły kod 403 lub strony weryfikacyjne
Porównanie endpointów
Auto (POST /api/auto/)
Endpoint typu smart-fetch. Przekazujesz URL oraz (najlepiej) regułę validate, a FourA przechodzi przez zoptymalizowaną kosztowo ścieżkę: najpierw rotowane proxy, a następnie pełna przeglądarka przez proxy. Ustawienie forceProxy: false powoduje, że przed obiema próbami uruchamiane jest tanie zapytanie direct oraz renderowanie w przeglądarce direct. Wygrywa pierwszy stopień, który zwróci response pasujący do validate. Przy powtarzających się wywołaniach do tego samego hosta odtwarzana jest rozgrzana sesja, dzięki czemu drugie wywołanie jest tanie.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Typowy czas odpowiedzi: 200 ms (stan rozgrzany) do 30 s+ (rozwiązywanie na zimno na trudnej stronie) Najlepsze do: Nowe cele, strony o zróżnicowanych zabezpieczeniach, sytuacje typu „chcę po prostu pobrać stronę”
Szczegółowy przewodnik znajdziesz w dokumentacji Smart Fetch guide.
Single (POST /api/single/)
Najszybsza opcja. Wysyła request HTTP o realistycznej charakterystyce sieciowej przypominającej przeglądarkę, bez uruchamiania procesu przeglądarki.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://example.com/api/products"}'
Typowy czas odpowiedzi: 200 ms do 2 s Najlepsze dla: API, serwisów informacyjnych, blogów, statycznych stron produktów
Browser (POST /api/browser/)
Otwiera Twój URL w instancji przeglądarki Chrome. Strona ładuje się całkowicie, JavaScript wykonuje się, a Ty otrzymujesz ostatecznie wyrenderowany HTML.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/spa-app",
"timeout_ms": 15000,
"checkText": "data-table"
}'
Typowy czas odpowiedzi: od 2s do 10s Najlepsze dla: aplikacji Single-Page (SPA), stron z leniwym ładowaniem (lazy loading), treści renderowanych przez JavaScript
Proxy (POST /api/proxy/)
Łączy requesty HTTP z automatyczną rotacją proxy. Jeśli pierwsza próba się nie powiedzie lub zostanie zablokowana, FourA ponawia próbę przez inne proxy.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"request": {
"method": "GET",
"url": "https://example.com/pricing"
}
}'
Typowy czas odpowiedzi: od 1 s do 5 s Najlepsze do: monitorowania cen w e-commerce, agregacji ofert turystycznych, stron z wykrywaniem botów
Auto a wybór ręczny
Kiedy pozwolić trybowi auto na wybór, a kiedy samodzielnie wywołać Single, Proxy lub Browser?
| Wybierz auto | Wybierz tryb ręczny |
|---|---|
| Nie wiesz jeszcze, czego wymaga strona | Dokładnie wiesz, jakiego silnika wymaga cel |
| Chcesz jednego wywołania, które po prostu działa | Optymalizujesz strukturę żądania dla znanego celu |
| Akceptujesz ponowne użycie przez auto zapamiętanej sesji | Chcesz pełnej kontroli nad ponawianiem, timeoutem i wyborem proxy dla każdego żądania |
| Płacisz za kilka sekund sondowania przy pierwszym wywołaniu | Opóźnienie przy pierwszym wywołaniu jest ważniejsze niż badanie strony |
Auto nie zawsze jest tańszym wyborem. Jeśli wiesz już, że cel działa z Single i włączonym unblocker, bezpośrednie wywołanie Single pomija sondowanie i kosztuje 2 kredyty. Auto dla tego samego celu kosztuje tyle, ile zużyje jego drabina.
Kiedy łączyć podejścia
Niektóre przepływy pracy zyskują na użyciu wielu endpointów:
- Badanie z trybem auto: przekaż regułę
validatei pozwól drabinie ustalić, jakiego poziomu wymaga strona. - Powtarzanie z single: pobierz
session.proxy,session.cookiesisession.userAgentzwrócone przez auto, a następnie wywołaj z nimi Single dla kolejnych stron na tym samym hoście. - Przejście na browser w razie problemów: jeśli single zaczyna zawodzić, przełącz się na renderowanie w przeglądarce.
- Dodanie proxy: jeśli otrzymujesz odmowę (403 lub stronę weryfikacji) bez auto, opakuj żądanie w endpoint proxy, aby uzyskać automatyczną rotację.
To stopniowe podejście utrzymuje niskie koszty przy zachowaniu wysokiego wskaźnika sukcesu.
Wskazówki dotyczące wydajności
- Przekaż podciąg
validate.data.acceptdla chronionych celów. Auto samodzielnie rozpoznaje popularne strony z testami zabezpieczeń, ale tylko Twoja reguła może wykryć nieznaną stronę weryfikacyjną lub stronę, która załadowała się bez potrzebnej zawartości. - Domyślnie używaj endpointu single dla znanych, działających hostów i przechodź na wyższe poziomy tylko w razie potrzeby.
- Ustaw
checkTextw żądaniach browser, aby strona wyrenderowana bez Twojej zawartości zwracała błąd (checkText:<text> not found) zamiast sukcesu.checkTextnie powoduje, że FourA czeka dłużej na tekst. - Ustaw
maxTriesw żądaniach proxy, aby kontrolować zachowanie ponawiania prób (wartość domyślna to 5, maksymalna to 90). - Utrzymuj rozsądną wartość
timeout_ms: od 10 do 15 sekund dla większości stron, 30 s+ dla pierwszych uruchomień auto na chronionych stronach.
Kolejne kroki
- Smart Fetch (Auto): Szczegółowe omówienie
/api/auto/ - Endpointy API: Pełna dokumentacja parametrów
- Scrapowanie dynamicznej strony: Przewodnik krok po kroku po żądaniach browser
- Szybki start: Twoje pierwsze żądanie w 30 sekund