Aspectos destacados
Muchos sitios configuran una cookie en cuanto su verificación permite pasar una request, y luego rechazan su propia API a cualquiera que no la envíe de vuelta. Ahora Auto devuelve esa cookie en la sesión, por lo que la llamada de seguimiento a la API del sitio puede ejecutarse en Single. Una llamada fallida de Auto también indica lo que el sitio respondió realmente, una página eliminada finaliza la llamada en cuestión de segundos, y Browser completa el widget de verificación que algunos sitios colocan en su propia página de rechazo.
Novedades
Auto devuelve la cookie que abrió la página
Algunos sitios protegen sus datos dos veces. La página carga una vez que una verificación rápida deja pasar tu request, y el JSON detrás de ella (la llamada que realiza el propio script de la página) solo responde cuando devuelves la cookie que esa verificación configuró. Auto ahora devuelve esa cookie en session.cookies, de modo que la sesión que abrió la página también abre la API.
El trabajo de Auto aquí es encontrar el acceso una vez. Las llamadas de seguimiento corresponden a Single, a través del mismo ID de proxy:
import requests
H = {"X-API-Key": "pk_live_..."}
# 1) Find the route once
r = requests.post(
"https://api.foura.ai/api/auto",
headers=H,
json={"url": "https://example.com/"},
).json()
s = r.get("session") or {}
# 2) Call the site's own API on Single, with the cookie the check set
body = {
"method": "GET",
"url": "https://example.com/api/products?page=1",
"headers": [["Referer", "https://example.com/"]],
}
if s.get("proxy"):
body["proxy"] = s["proxy"]
if s.get("cookies"):
body["headers"].append(
["Cookie", "; ".join(f"{c['name']}={c['value']}" for c in s["cookies"])]
)
data = requests.post("https://api.foura.ai/api/single", headers=H, json=body).json()
Envía también la página como Referer. Muchas de estas APIs rechazan una request sin ella, porque el propio script de la página siempre envía una. Las cookies suelen tener una vida corta, por lo que cuando la API empiece a rechazar de nuevo, una llamada más de Auto te consigue una nueva. Y si no sabes qué request hace la página, la pestaña DevTools de nuestra extensión de Chrome, aún en beta, las lista y copia cualquiera como una llamada lista (trata una llamada copiada con sus cookies como una contraseña, ya que puede portar una sesión iniciada). Mostramos cómo en Cualquier request de página como una llamada a la API.
Llegan dos cambios menores adicionales. Un Cookie que envías a Auto ahora llega al sitio sin modificaciones, y las cookies de una sesión activa se añaden junto a él solo bajo nombres que tú no enviaste. Tus headers también se envían en las requests de Single y Proxy Finder que Auto realiza ahora, incluida su búsqueda de una salida funcional, mientras que los niveles de browser todavía no los envían. El patrón completo está en Reproducir con la sesión.
Una llamada fallida de Auto indica lo que respondió el sitio
Cuando Auto no puede encontrar una ruta, quieres saber por qué antes de cambiar nada. El attemptReport en una respuesta fallida ahora contabiliza un sitio que rechazó la request (un 401, 403, 429 o 503, o una página de desafío) bajo defense, incluso cuando no se reconoció ningún proveedor de detección de bots. Una página eliminada va bajo statusRejected. La línea summary indica el estado HTTP que envió el sitio y avisa cuando se agotó tu cuota diaria de browser, por lo que no se pudo abrir ningún browser.
Empieza con contentRejected. Ese recuento significa que la página regresó y solo tu propia regla validate la rechazó, que es lo único que puedes corregir antes de que el trabajo pase a Single o Browser. El resto de los campos están en Por qué falló una llamada de Auto.
Las páginas eliminadas también terminan rápido. Cuando un sitio responde 410 para una página que ha dado de baja, Auto finaliza la llamada en segundos, incluso con varias de tus llamadas esperando en el mismo sitio. Si una página eliminada es un resultado que quieres registrar, incluye 404 o 410 en validate.status.accept.
Browser completa el paso de verificación propio de un sitio
Algunos sitios responden con su propia página de rechazo, un 401 o 403 con un widget de verificación. Browser con unblocker: true ahora completa el paso que solicita el widget y espera hasta 10 segundos a que cargue la página a la que conduce.
No todos los intentos tienen éxito. Por lo tanto, cuando el sitio sigue rechazando, recibes de vuelta su página de comprobación tras la espera, la misma respuesta que obtenías antes, y tu código no necesita una nueva rama condicional.
Auto usa requests de browser donde realmente ayudan
En algunos sitios, las browser requests posteriores a las primeras de una llamada rara vez devuelven la página. Auto ahora aprende eso sitio por sitio. Donde las requests posteriores a las primeras tres de una llamada casi nunca funcionan, se limita a tres por llamada durante el día siguiente, utiliza sus otras rutas en su lugar y luego vuelve a aprender. Tu asignación diaria de browser rinde más. Las browser requests a través de premium exits no tienen límite, ya que en algunos sitios son la única forma de entrar.
Cuando Auto encuentra una ruta de browser, reproduce la sesión que devuelve en Browser para el volumen. Ahí es donde corresponde el tráfico de producción.
En cada vez más sitios, la página no son los datos. Es el handshake previo a la API que los contiene, y Auto ahora te entrega ambos.