리다이렉트 체인은 스크래퍼를 중단시킵니다. 바이너리 응답은 텍스트로 디코딩될 때 손상됩니다. "페이지를 가져와 HTML을 파싱하는" 단계를 넘어서면 끊임없이 발생하는 두 가지 문제입니다.
이 두 문제를 모두 처리하기 위해 새로운 두 가지 request 옵션인 followRedirects 및 returnBuffer를 출시했습니다. 지금 API에 적용되어 있습니다.
작동 방식
followRedirects를 사용한 리다이렉트 제어
대부분의 스크래핑 API는 리다이렉트를 따를지 여부를 boolean 값으로만 처리합니다. 이는 무한 루프가 발생하는 리다이렉트 체인을 만나거나, 추적 파라미터를 추출하기 위해 중간 302 응답 자체가 필요한 상황 전까지만 유효합니다.
FourA의 followRedirects 값은 0에서 20 사이의 정수를 받습니다. 이를 생략하거나 0으로 설정하면 header를 포함한 원시 리다이렉트 응답이 그대로 반환됩니다. 5로 설정하면 request가 최대 5회의 홉을 거친 후 도달한 최종 결과를 반환합니다.
curl -X POST "https://eu.api.foura.ai/v1/request" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/short-link",
"followRedirects": 3,
"unblocker": true
}'
이 방식은 최대 3개의 리디렉션까지 추적합니다. 체인이 2번 만에 끝나면 최종 페이지를 수신합니다. 3번을 초과하면 세 번째 홉에서 반환된 결과를 그대로 받습니다.
이 차이는 생각보다 중요합니다. 이커머스 사이트는 최종 제품 페이지에 도달하기 전 추적 URL을 거쳐 리디렉션되는데, 이는 추적해야 합니다. 반면 제휴 네트워크나 URL 단축기는 6단계, 7단계, 8단계 이상 이어지는 체인을 만들기도 합니다. 또한 어떤 리디렉션 루프는 영원히 끝나지 않습니다. 특정 횟수로 상한을 두면 request timeout을 소진하는 무한 루프에 빠지지 않고 데이터를 수집할 수 있습니다.
이전에는 리디렉션을 비활성화한 상태로 request를 보내고, Location header를 직접 파싱한 뒤 다시 request를 보내는 방식으로 해결해야 했습니다. 최소 2번의 API 호출과 2배의 지연 시간이 발생하고 유지 관리해야 할 코드도 늘어납니다. 이제는 숫자 하나를 포함한 1번의 호출로 해결됩니다.
returnBuffer를 사용한 순수 바이너리 응답
이미지, PDF, 또는 protobuf 페이로드를 수집할 때 텍스트 디코딩은 데이터를 손상시킵니다. HTTP 라이브러리가 response를 텍스트로 간주하고 문자 집합 감지를 적용하여 맞지 않는 바이트를 아무런 알림 없이 변형하기 때문입니다. Protobuf는 읽을 수 없게 되고 이미지 header는 깨집니다. 결국 원인을 알 수 있는 명확한 에러 메시지도 없이 손상된 파일만 남게 됩니다.
returnBuffer는 API에 텍스트 디코딩을 완전히 건너뛰도록 지시합니다.
curl -X POST "https://eu.api.foura.ai/v1/request" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product-image.jpg",
"returnBuffer": true
}'
response body는 원시 바이트(JSON response에서는 base64로 인코딩됨)로 반환됩니다. 클라이언트 측에서 이를 디코딩하면 서버가 보낸 데이터 그대로를 얻을 수 있습니다. 문자셋 추측, 인코딩 변환, 조용한 데이터 손실이 발생하지 않습니다.
이는 가장 자주 접수되던 기술 지원 문의 중 하나였습니다. 사용자가 제품 이미지나 PDF 카탈로그를 수집했을 때 파일이 열리지 않는 문제였습니다. 해결 방법은 늘 같았지만, 이제 임시 방편 대신 정식 플래그가 제공됩니다.
영향
두 기능 모두 작업당 API 호출 수를 줄여줍니다. followRedirects는 리다이렉트를 수동으로 추적하는 루프를 없앱니다. returnBuffer는 "데이터 수집, 손상 확인, 다른 설정으로 재수집"하는 반복 주기를 제거합니다.
리다이렉트가 잦은 대상(제휴 링크, URL 단축기, 전자상거래 추적 체인)의 경우, 사용자가 수동 리다이렉트 처리에서 followRedirects로 전환했을 때 초기 테스트에서 request 수가 40-60% 감소하는 것을 확인했습니다. 바이너리 수집 작업(제품 이미지, 문서 다운로드)의 경우, returnBuffer는 여러 단계의 임시 방편을 단일 옵션으로 단순화합니다(초기 결과 기준).
화려한 기능은 아닙니다. 하지만 사이트가 체크아웃 플로우에 리다이렉트 홉을 하나 추가하는 바람에 새벽 3시에 스크레이퍼가 중단되기 전까지는 미처 신경 쓰지 못할 종류의 개선 사항입니다.
고급 사용자를 위한 팁
followRedirects와 response 유효성 검사를 결합하면 리다이렉트 체인을 정밀하게 제어할 수 있습니다. 리다이렉트를 추적하되, 최종 목적지에서 문제가 발생하면 request를 실패 처리하도록 설정할 수 있습니다.
curl -X POST "https://eu.api.foura.ai/v1/request" \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/product/12345",
"followRedirects": 5,
"unblocker": true,
"validate": {
"status": { "fail": [403, 503] },
"data": { "fail": ["Access Denied", "captcha"] }
}
}'
이 설정은 최대 5회의 리다이렉트를 추적한 후 최종 response를 검증합니다. 사이트가 인증 페이지나 접근 차단 벽으로 리다이렉트한 경우, 해당 request는 깔끔하게 실패 처리됩니다. 다운스트림에서 걸러내야 할 불필요한 데이터가 남지 않습니다.
바이너리 데이터를 수집할 때는 대용량 파일을 다운로드하기 전 콘텐츠 타입을 확인하기 위해 returnBuffer와 HEAD request를 함께 사용하는 것이 좋습니다. FourA는 HEAD를 올바르게 처리하므로 body를 가져오지 않고도 header를 검사할 수 있습니다. Content-Type을 확인하여 다운로드 여부를 판단한 다음, returnBuffer: true를 사용해 전체 request를 실행하십시오.
JavaScript 비중이 높은 타깃에 browser tasks를 사용 중이라면, 이러한 옵션은 직접 HTTP 엔진에만 적용된다는 점에 유의하십시오. 브라우저 request는 제한 없이 기본적으로 리다이렉트를 추적하는 브라우저 내장 탐색을 통해 리다이렉트를 처리합니다.
다음 단계
API를 통해 커스텀 DNS 확인, 단계별 timeout 튜닝, 인증서 처리 옵션 등 더 많은 request 레벨 제어 기능을 제공하기 위해 작업하고 있습니다. 인프라 오버헤드 없이 깔끔한 REST 인터페이스를 통해 브라우저 프로필 전체를 제어하도록 지원하는 것이 목표입니다.
필요한 특정 옵션이 있다면 의견을 보내주시기 바랍니다. dashboard에서 이러한 새 옵션을 적용한 request의 성능 변화를 이미 직접 확인할 수 있습니다.