모든 proxy가 동일한 것은 아닙니다. 데이터 센터 proxy는 보안이 적용되지 않은 뉴스 사이트에서는 잘 작동하지만, Cloudflare로 보호되는 이커머스 페이지에서는 즉시 차단됩니다. 주거용 proxy는 해당 이커머스 사이트를 처리할 수 있지만 request당 비용이 10배 더 듭니다.
지금까지는 각 대상에 어떤 proxy 유형이 적합한지 파악하고 상황이 바뀔 때마다 재구성해야 했습니다. Smart Proxy Routing은 이 과정을 완전히 자동화합니다.
작동 원리
type: "proxy"와 함께 태스크를 전송하면 FourA는 이제 request가 전송되기 전에 지능적인 라우팅 결정을 내립니다.
- 대상 분석: 시스템이 알려진 보호 프로필(Cloudflare, DataDome, Akamai, PerimeterX 등)을 기반으로 대상 도메인을 확인합니다.
- 경로 선택: 보호 수준에 따라 최적의 proxy 유형을 선택합니다.
- 보호되지 않거나 보호 수준이 낮은 사이트를 위한 데이터 센터(가장 빠르고 저렴함)
- 중간 수준의 보호(Cloudflare JS 챌린지, 기본 WAF)를 위한 주거용
- 가장 강력한 보호(DataDome, PerimeterX 고급)를 위한 모바일
- 자동 재시도: 선택한 경로가 실패하면 시스템이 더 높은 품질의 proxy 유형으로 자동 승격하여 재시도합니다.
이 모든 작업은 단일 API 호출 내에서 수행됩니다. proxy 유형을 직접 지정하거나 재시도 로직을 구성할 필요가 없습니다.
도입 효과
다양한 1,000개 대상 도메인에 대한 테스트 결과는 다음과 같습니다.
- 중간 및 높은 수준의 보호가 적용된 사이트에서 성공률 35% 향상
- 가능한 경우 더 저렴한 proxy를 사용하므로 성공한 request당 평균 비용 25% 절감
- 주거용이 불필요할 때 데이터 센터 proxy를 사용하므로 응답 시간 중앙값 40% 단축
예시
API는 변경되지 않았습니다. 기존과 동일한 request를 전송하면 됩니다.
curl -X POST https://eu.api.foura.ai/api/v1/tasks \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/products",
"type": "proxy",
"options": {"proxyCountry": "US"}
}'
라우팅은 서버 측에서 처리됩니다. 기존 코드를 변경할 필요가 없습니다.
지리적 타겟팅
스마트 라우팅은 지리적 타겟팅과 함께 작동합니다. proxyCountry 설정을 적용하면 시스템이 해당 국가 내에서 최적의 프록시 유형을 선택합니다. 특히 다음과 같은 작업에 유용합니다.
- 가격 모니터링: 특정 시장의 고객에게 표시되는 정확한 가격 확인
- 콘텐츠 검증: 현지화된 콘텐츠가 올바르게 렌더링되는지 확인
- 광고 검증: 의도한 지역에 광고가 정상 노출되는지 확인
도입 시 이점
현재 proxy 작업 유형을 사용 중이라면 이미 스마트 라우팅이 적용되고 있습니다. 무중단 업그레이드로 배포되었으므로 코드를 수정할 필요가 없습니다.
single 또는 browser 작업을 사용하다가 차단이 발생했다면, 지금 proxy을 도입하기에 적절한 시점입니다. 스마트 라우팅 시스템이 기존에 수동으로 프록시를 구성해야 했던 복잡한 작업을 대신 처리합니다.
FourA가 보호된 사이트를 처리하는 방식에 대한 자세한 내용은 문서에서 확인하십시오.