보호된 사이트
최신 웹사이트는 고급 봇 탐지 기술을 사용합니다. 이 가이드에서는 요청자를 검증하는 사이트에서 FourA가 페이지를 가져오는 방법과 성공률을 높이는 방법을 설명합니다.
봇 탐지 작동 원리
웹사이트는 여러 보호 계층을 사용합니다.
- IP 평판: 데이터 센터 및 알려진 proxy 주소를 차단합니다.
- 네트워크 지문 분석(Wire fingerprinting): 각 HTTP 클라이언트는 고유한 핸드셰이크 서명을 가지며 사이트는 이를 감지할 수 있습니다.
- 브라우저 지문 분석(Browser fingerprinting): JavaScript를 통해 headless 브라우저 징후를 확인합니다.
- 동작 분석: 요청 패턴, 타이밍, 탐색 흐름을 분석합니다.
- 검증 페이지: 방문자가 완료해야 하는 시각적 과제입니다.
응답에는 검사를 실행한 시스템 이름이 포함됩니다. 자세한 목록은 Site checks에서 확인하세요.
가장 빠른 방법: Auto
보호 수준을 아직 모르는 경우, 실제 페이지만 포함하는 validate.data.accept 하위 문자열을 지정하여 /api/auto/을 호출하세요. Auto는 비용을 고려한 단계별 방식(순환 proxy, 이후 proxy 기반 브라우저 순서로 실행되며, forceProxy: false 사용 시 비용이 저렴한 직접 프로브 및 직접 브라우저 렌더링이 먼저 실행됨)을 거치며 설정한 규칙에 부합하는 응답을 반환하는 첫 번째 단계에서 중단합니다. 동일한 호스트에 반복 호출할 때는 웜 세션이 대신 재생되므로 두 번째 요청부터는 비용이 저렴합니다.
curl -X POST https://eu.api.foura.ai/api/auto/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://protected-site.com/product/42",
"validate": {"data": {"accept": ["Add to cart"]}}
}'
Auto는 일반적인 챌린지 페이지를 인식하고 이를 만나도 계속 진행합니다. 사용자의 validate.data.accept 문자열은 알 수 없는 확인 페이지, 로그인 장벽, 필요한 콘텐츠가 없는 페이지 등 나머지를 감지합니다. 전체 가이드는 Smart Fetch 가이드를 참고하십시오.
FourA가 각 계층에서 지원하는 방식
실제 브라우저 수준의 네트워크 요청
단일 endpoint(POST /api/single/)는 실제 브라우저와 일치하는 핸드셰이크 특성을 전송합니다. 사이트는 브라우저를 직접 실행하는 오버헤드 없이 실제 브라우저와 동일한 방식으로 응답합니다.
실제 브라우저 header(User-Agent, Sec-Ch-Ua, Sec-Fetch-*, Accept-Encoding)를 함께 삽입하려면 unblocker를 활성화하십시오. unblocker은 기본적으로 켜져 있습니다. 추가 header 없이 자체 header만 전송하려는 경우에만 false을 설정하십시오.
{
"method": "GET",
"url": "https://protected-site.com/data",
"unblocker": true
}
실제 브라우저 렌더링
브라우저 endpoint(POST /api/browser/)는 전체 Chrome 브라우저 인스턴스를 실행합니다. 방문자의 브라우저와 동일한 방식으로 페이지의 JavaScript를 실행합니다. Browser의 unblocker는 페이지가 로드되기 전에 요구하는 검증(Turnstile 및 유사 게이트)을 완료합니다. 챌린지 페이지 원본이 그대로 필요한 경우가 아니라면 활성화해 두십시오.
Proxy 순환
proxy endpoint(POST /api/proxy/)는 FourA의 표준 출구 풀을 순환합니다. 사이트가 출구를 거부하거나 출구가 응답하지 않으면 다음 시도는 다른 출구를 통해 나갑니다. 후속 호출에서 ignoreProxies를 사용하여 이미 사용 불가가 된 출구를 건너뛰십시오. 재시도 강도를 제어하려면 maxTries(기본값 5, 최대 90)를 사용하십시오.
프리미엄 출구는 request가 명시적으로 요청할 때만 사용됩니다. 프리미엄 출구가 포함된 요금제에서는 표준 풀이 페이지에 도달하지 못할 때 exitClass: "premium"를 통해 Proxy가 프리미엄 출구로 넘어갈 수 있습니다. 성공한 response의 exitClass 항목은 요청을 처리한 출구의 종류를 나타내며, 해당 주기의 프리미엄 트래픽을 모두 소진하면 request는 표준 풀에서 계속 진행되고 standard로 표시됩니다. exitClass를 참고하십시오.
국가 지정 출구
대상 사이트에서 확인되는 국가가 엄격한 허용 목록과 일치하는 프록시로 선택을 제한하려면 /api/proxy/에 exitCountries를 전달하십시오. 값은 공백이 제거되고 대문자로 변환되며 중복이 제거된 두 글자 코드(["CZ", "GB"])입니다. 표준 풀은 요청되지 않은 국가로 대체되지 않습니다. 현재 풀에 일치하는 항목이 없으면 요구 사항을 완화하지 않고 나중에 다시 시도할 수 있도록 response가 details.exitCountries에 정규화된 범위를 포함하여 code: "no_eligible_proxy"를 반환합니다. 프리미엄 출구도 목록 범위 내로 유지됩니다. exitClass: premium를 사용하면 프리미엄 출구가 지정된 국가 중 하나에서 나가며, response의 exitCountry가 이를 명시합니다. 국가 지정 기능은 Startup 요금제 이상부터 포함됩니다. 해당 기능이 없는 요금제에서 exitCountries를 전송하는 호출은 403 및 X-FourA-Limit: plan_limit_feature와 함께 거부됩니다.
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"exitCountries": ["CZ", "GB"],
"request": {"method": "GET", "url": "https://target.example/pricing"}
}'
스마트 스코핑(scoping)을 요청한 경우 response에 exitCountry이 포함됩니다. 페이로드를 신뢰하기 전에 허용 목록(allowlist)에 속해 있는지 확인한 후, 반환된 proxy ID를 후속 Browser 호출에서 재사용하여 동일한 출구를 통해 JavaScript 렌더링이 실행되도록 하십시오.
차단 원인을 알려주는 FourA
어떤 시스템이 request를 차단했는지 추측할 필요가 없습니다. 대상 사이트가 봇 검사를 실행하면 response에 해당 시스템 이름이 명시됩니다.
POST /api/single/및POST /api/proxy/는defense객체를 반환합니다.defense.vendor은 시스템 이름이고,defense.solved은 검사 통과 여부를 나타내며,defense.present은 해당 response에서 감지된 모든 항목을 나열합니다.POST /api/browser/는defenseSolved와 함께defenses.present및defenses.cleared를 반환합니다.
{
"status": 200,
"data": "<!doctype html>...",
"defense": {
"vendor": "sgcaptcha",
"solved": true,
"present": ["sgcaptcha"],
"cookie": "_I_=<clearance>"
}
}
이에 따라 두 가지 규칙이 적용됩니다.
solved: false은 본문이 실제 페이지가 아니라 챌린지일 수 있음을 의미합니다. FourA는 챌린지 페이지를 콘텐츠로 반환하지 않으므로 파싱하기 전에 플래그를 확인하십시오.- 해결 성공 시 clearance를 전달합니다.
defense.cookie가 있으면 동일한 exit 및 동일한 User-Agent 환경에서 이를Cookie헤더로 다시 전송하십시오. 후속 request는 검사를 완전히 건너뜁니다.
FourA는 eBay, Reddit, Amazon의 자사 검사를 포함하여 일반적인 검사 시스템을 인식합니다. 인식 범위는 통과(clearing) 범위보다 넓습니다. 식별할 수 있지만 통과시키지 못하는 시스템은 상태가 보고되며 request 비용이 증가하지 않습니다. 반환된 페이지가 해당 시스템의 검사 페이지인 경우, HTTP 200이라 하더라도 request 비용이 청구되지 않으며 X-FourA-Check-Page 헤더에 해당 시스템 이름이 명시됩니다. 모든 필드, 현재 통과와 감지 구분, 재전송 예시는 사이트 검사를 참고하십시오.
Amazon의 원버튼 "쇼핑 계속하기" 페이지는 통과 처리 대신 자동으로 응답을 완료합니다. Single, Proxy, Browser는 동일한 exit에서 버튼을 누르고 실제 페이지를 반환합니다. unblocker이 활성화된 상태(기본값)에서 Single 및 Proxy는 이를 defense에 retry: "amazon-continue" 및 solved: false로 보고하며 가격은 변경되지 않습니다. Reddit의 경량 JavaScript 검사도 Single 및 Proxy에서 동일하게 동작합니다. 동일한 exit에서 응답을 완료하고 실제 페이지를 반환하며, 동일한 가격으로 retry: "reddit-js-check" 및 solved: false를 보고합니다.
보호 수준별 전략
알 수 없는 보호 수준
auto를 사용하십시오. 로테이션 proxy에서 시작하여 대상 사이트가 강제하는 수준까지만 점진적으로 상향 조정되므로 호스트당 탐색 비용을 한 번만 지불합니다.
낮은 보호 수준 (대부분의 사이트)
unblocker와 함께 single endpoint를 사용하십시오. 전송 계층 일치만으로 충분합니다.
curl -X POST https://eu.api.foura.ai/api/single/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"method": "GET", "url": "https://news-site.com/article", "unblocker": true}'
보통: 챌린지 페이지 또는 기본 방화벽
브라우저 endpoint를 사용하여 JavaScript 챌린지를 통과합니다.
curl -X POST https://eu.api.foura.ai/api/browser/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://protected-site.com/data", "timeout_ms": 15000}'
높음: 동작 및 핑거프린트 검사
여러 번의 재시도 로직과 함께 프록시 엔드포인트를 사용하십시오:
curl -X POST https://eu.api.foura.ai/api/proxy/ \
-H "X-API-Key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 10,
"request": {
"method": "GET",
"url": "https://heavily-protected.com/prices",
"unblocker": true
}
}'
연쇄 챌린지 페이지("Just a moment", 보안 체크포인트 등)에서 챌린지가 해결된 후 렌더링된 페이지가 필요한 경우 MCP Recipes를 참고하십시오. "Protected page: proxy first, browser when JavaScript is needed" 레시피에서 정확한 proxy 후 browser 핸드오프 과정을 확인할 수 있습니다.
권장 사항
알려지지 않은 대상에는 auto로 시작하십시오.
validate규칙을 전달하여 사다리형 로직이 가장 저렴한 단계를 선택하도록 한 다음, 응답의meta.rung를 확인하여 성공한 엔진을 파악하십시오. 확인된 후에는 반복 트래픽에 해당 엔진을 직접 호출하십시오.성공한 세션을 재사용하십시오. auto 호출 후 반환된
session(proxy ID + cookies + userAgent)는 동일한 호스트의 후속 페이지를 위해/api/single/또는/api/browser/를 통해 재사용할 수 있으며, 해당 엔드포인트의 자체 요금이 적용됩니다.unblocker사용 시 Single에서 2크레딧, Browser에서 5크레딧(페이지가 요구하는 인증 단계를 호출이 완료할 경우 10크레딧)입니다.rate limit를 준수하십시오. proxy 회전을 사용하더라도 단일 사이트에 초당 수백 개의 요청을 전송하면 행동 탐지가 트리거됩니다. 요청 간격을 최소 1-2초 이상 유지하십시오.
unblocker설정을 켜 두십시오. Single 및 Proxy에서unblocker: true(기본값)는 현실적인 브라우저 헤더를 추가합니다. Browser에서는 챌린지 해결기를 활성화합니다. 추가 헤더가 없는 요청이나 원시 챌린지 페이지가 명시적으로 필요한 경우에만 이 기능을 끄십시오.성공률을 모니터링하십시오. 시간에 따른 성공률 추이를 추적하려면 Dashboard 지표를 확인하십시오. 급격한 하락은 대개 대상 사이트의 보안 체계가 업데이트되었음을 의미합니다.
차단된 exit를 건너뛰십시오.
/api/proxy/또는/api/auto/호출에서 반환된 proxy ID가 이후 실패하기 시작하면 다음 호출 시ignoreProxies에 전달하여 FourA가 다른 exit를 선택하도록 하십시오.재시도하기 전에
defense를 확인하십시오. 공급업체 이름을 통해 다른 브라우저 프로필을 시도할 가치가 있는지, 전체 렌더링이 필요한지, 아니면 해결 서비스 없이는 통과할 수 없는 검사인지 판단할 수 있습니다.제시하는 브라우저를 변경하십시오. 일부 대상은 특정 브라우저는 허용하고 다른 브라우저는 거부합니다. Single 및 Proxy에서
browser,os또는version를 설정하고, 최신 카탈로그는GET /api/profiles를 확인하십시오. 자세한 내용은 endpoint reference에 나와 있습니다.
제한 사항
일부 시나리오에서는 API 외부에서의 추가 처리가 필요합니다.
- 로그인 보호 콘텐츠: FourA는 장기 세션 로그인을 대신 관리하지 않습니다. 브라우저 endpoint는 요청마다
cookies를 허용하므로 직접 세션 cookie를 전달해야 합니다. - 상호작용형 인증 작업: FourA는 시각적 인증을 감지하여
defense.present에 보고하지만, 이를 직접 통과시키지는 않습니다. Turnstile은 Browser에서 처리됩니다. - 특정 국가로 제한된 콘텐츠:
/api/proxy/에서exitCountries를 사용하여 허용된 국가로 선택을 고정하십시오. 주소가 속한 네트워크까지 확인하는 사이트(일부 국가 공인 베팅 사이트, 특정 정부 서비스 등)는 올바른 국가의 exit라도 연결을 거부할 수 있습니다.exitClass: premium와exitCountries에 지정된 단일 국가를 사용하면 프리미엄 exit를 통해 지정한 지역, 도시 또는 네트워크에서도 나갈 수 있습니다. Exit location를 참고하십시오. 풀에 허용된 국가의 exit가 없으면 요청은no_eligible_proxy를 반환합니다. - 법적 제한이 있는 사이트: 데이터 수집이 항상 대상 사이트의 이용 약관 및 관련 법률을 준수하는지 확인하십시오.
다음 단계
- Smart Fetch (Auto):
/api/auto/심층 분석 - Choosing the Right Endpoint: endpoint 결정 가이드
- Common Issues: 403 오류 및 인증 페이지 문제 해결
- API Endpoints:
exitCountries를 포함한 전체 파라미터 레퍼런스 - Site checks:
defense필드, 시스템 목록 및 clearance 재생 - MCP Recipes: proxy 후 browser 체인을 포함한 워크플로 템플릿