Najważniejsze zmiany
Wiele witryn ustawia cookie w momencie, gdy ich weryfikacja przepuści request, a następnie blokuje dostęp do własnego API każdemu, kto go nie odeśle. Auto zwraca teraz to cookie w sesji, dzięki czemu kolejne wywołanie do API witryny może działać przez Single. Nieudane wywołanie Auto wskazuje również dokładną odpowiedź witryny, usunięta strona kończy wywołanie w kilka sekund, a Browser rozwiązuje widget weryfikacyjny, który niektóre serwisy umieszczają na własnej stronie błędu odmowy dostępu.
Co nowego
Auto zwraca cookie, które otworzyło stronę
Część witryn zabezpiecza swoje dane podwójnie. Strona ładuje się dopiero po przejściu szybkiej weryfikacji przez request, a zwracany w tle JSON (wywołanie wykonywane przez skrypt samej strony) odpowiada tylko wtedy, gdy odeślesz cookie ustawione podczas tej kontroli. Auto zwraca teraz to cookie w session.cookies, dzięki czemu sesja, która otworzyła stronę, odblokowuje również API.
Zadaniem Auto jest jednorazowe znalezienie drogi wejścia. Kolejne wywołania powinny trafiać do Single, przy użyciu tego samego identyfikatora proxy:
import requests
H = {"X-API-Key": "pk_live_..."}
# 1) Find the route once
r = requests.post(
"https://api.foura.ai/api/auto",
headers=H,
json={"url": "https://example.com/"},
).json()
s = r.get("session") or {}
# 2) Call the site's own API on Single, with the cookie the check set
body = {
"method": "GET",
"url": "https://example.com/api/products?page=1",
"headers": [["Referer", "https://example.com/"]],
}
if s.get("proxy"):
body["proxy"] = s["proxy"]
if s.get("cookies"):
body["headers"].append(
["Cookie", "; ".join(f"{c['name']}={c['value']}" for c in s["cookies"])]
)
data = requests.post("https://api.foura.ai/api/single", headers=H, json=body).json()
Wyślij stronę również jako Referer. Wiele z tych API odrzuca request bez tego nagłówka, ponieważ własny skrypt strony zawsze go wysyła. Pliki cookie bywają krótkotrwałe, więc gdy API znów zacznie odrzucać żądania, jeszcze jedno wywołanie Auto zapewni świeży zestaw. Jeśli nie wiesz, który request wykonuje strona, zakładka DevTools w naszym rozszerzeniu Chrome (wciąż w fazie beta) wyświetla je wszystkie i pozwala skopiować dowolny jako gotowe wywołanie (traktuj wywołanie skopiowane wraz z plikami cookie jak hasło, ponieważ może przenosić zalogowaną sesję). Pokazaliśmy to w Any Page Request as an API Call.
Wprowadziliśmy też dwie mniejsze zmiany. Nagłówek Cookie wysłany do Auto dociera teraz do witryny w niezmienionej formie, a pliki cookie aktywnej sesji są dodawane obok niego wyłącznie pod nazwami, których nie przesłano. Twoje nagłówki trafiają teraz również do requestów Single i Proxy Finder wykonywanych przez Auto, w tym podczas wyszukiwania działającego węzła wyjściowego, podczas gdy etapy przeglądarkowe nadal ich nie wysyłają. Cały schemat opisano w Replaying with the session.
Nieudane wywołanie Auto wskazuje odpowiedź witryny
Gdy Auto nie może znaleźć trasy, chcesz poznać przyczynę przed wprowadzeniem zmian. Obiekt attemptReport w nieudanej odpowiedzi zlicza teraz witrynę, która odrzuciła request (401, 403, 429 lub 503, bądź stronę z testem CAPTCHA), w polu defense, nawet jeśli nie rozpoznano dostawcy ochrony przed botami. Usunięta strona trafia do statusRejected. Wiersz summary podaje status HTTP zwrócony przez witrynę oraz informuje o wyczerpaniu dziennego limitu przeglądarki, przez co nie można było uruchomić żadnej instancji.
Zacznij od contentRejected. Ta wartość oznacza, że strona została zwrócona i odrzuciła ją tylko Twoja własna reguła validate, co jest jedyną rzeczą, którą możesz poprawić, zanim zadanie przejdzie do Single lub Browser. Pozostałe pola opisano w Why an Auto call failed.
Usunięte strony również kończą się szybko. Gdy witryna zwraca 410 dla strony, którą wycofano, Auto kończy wywołanie w kilka sekund, nawet gdy wiele Twoich wywołań oczekuje na tę samą witrynę. Jeśli usunięta strona jest wynikiem, który chcesz zarejestrować, wskaż 404 lub 410 w validate.status.accept.
Browser wykonuje weryfikację wymaganą przez witrynę
Niektóre witryny odpowiadają własną stroną odmowy, błędem 401 lub 403 z widżetem weryfikacyjnym. Browser z unblocker: true wykonuje teraz krok wymagany przez widżet i czeka do 10 sekund na stronę docelową.
Nie każda próba kończy się sukcesem. Gdy witryna nadal odrzuca żądanie, po okresie oczekiwania otrzymujesz z powrotem jej stronę weryfikacji, czyli dokładnie tę samą odpowiedź co wcześniej, więc Twój kod nie wymaga nowej ścieżki obsługi.
Auto kieruje requesty przeglądarki tam, gdzie przynoszą skutek
Na niektórych stronach requesty przeglądarki wykraczające poza pierwsze kilka w ramach wywołania rzadko zwracają stronę. Auto uczy się teraz tego dla każdej witryny z osobna. Tam, gdzie requesty powyżej pierwszych trzech w wywołaniu prawie nigdy nie działają, ogranicza się do trzech na wywołanie przez kolejny dzień, korzysta w zamian z innych tras, a następnie uczy się ponownie. Twój dzienny limit przeglądarki wystarcza na dłużej. Requesty przeglądarki przez węzły wyjściowe premium nie są limitowane, ponieważ na niektórych stronach to jedyna droga wejścia.
Gdy Auto znajdzie trasę przeglądarkową, odtwórz zwróconą sesję w Browser na potrzeby ruchu masowego. Tam powinien trafiać ruch produkcyjny.
Na coraz większej liczbie stron sama strona nie jest danymi. Jest tylko etapem handshake przed API, które je faktycznie przechowuje, a Auto przekazuje Ci teraz jedno i drugie.