Proxy Port: Username을 통한 타겟팅 및 세션 제어
FourA proxy port는 username에서 네트워크, 국가, sticky session 설정을 파싱하며, 오타 발생 시 유효한 키 목록과 함께 400 에러를 반환합니다. 전체 문법을 정리했습니다.
Browser Profiles: 요청 형태 직접 설정하기
실측된 79개 프로필의 공개 카탈로그를 통해 각 request가 나타낼 브라우저, OS, 버전을 지정하십시오. 사이트에서 특정 프로필을 거부하면 로테이션이 즉시 다른 프로필로 전환합니다.
Auto 소개: 모든 타겟을 위한 단일 endpoint
Auto endpoint는 각 request에 맞춰 Single, Proxy Finder, Browser 중 최적의 방식을 선택하고 요청자를 검증하는 페이지를 처리하며 다음 호출에서 재사용할 수 있는 세션을 반환합니다.
Validate 규칙으로 성공 기준 직접 정의하기
validate 규칙을 사용하여 어떤 response를 성공으로 간주할지 선언하세요. 이제 허용된 non-200 response도 올바르게 과금되며 Activity 피드에 성공으로 표시됩니다.
Playground: 대시보드에서 Request 빌드 및 테스트하기
대시보드 내부에 Playground를 출시했습니다. endpoint를 선택하고, 필드를 입력한 뒤, Send를 누르고, curl을 복사하세요. 3개의 endpoint, 1개의 cookie jar, 모든 header를 제공합니다.
420만 개 request의 response time을 2.5초에서 1초 미만으로 단축한 과정
24시간 동안 420만 개의 request 처리. 평균 774 ms로, 전주의 2.5초에서 단축되었습니다. 실제 percentile 데이터와 함께 request path에서 무엇이 변경되었는지 공유합니다.
브라우저 프로필 내부 분석: `unblocker: true`의 실제 동작 원리
단일 플래그로 실제 브라우저 헤더, 일치하는 연결 서명, gzip 및 brotli 자동 압축 해제 등 세 가지 기능을 활성화합니다. 이 기능의 동작 방식과 이유를 설명합니다.
리다이렉트 제어 및 원시 버퍼 모드
이제 FourA API에서 구성 가능한 리다이렉트 제한과 원시 바이너리 응답을 지원합니다. 실제 스크래핑 엣지 케이스를 처리하는 방식을 바꾸는 두 가지 옵션입니다.
Browser Tasks: JavaScript가 많은 사이트 스크래핑 방법
현대 웹사이트의 70% 이상이 콘텐츠를 렌더링하기 위해 JavaScript를 필요로 합니다. HTTP request가 빈 결과를 반환할 때 FourA의 Browser Tasks를 통해 전체 페이지를 가져오는 방법을 소개합니다.
대시보드 분석 및 사용량 인사이트
도메인별 request 볼륨, 성공률, response 시간, 비용 분석: FourA 분석 대시보드는 어떤 부분이 원활히 작동하고 어디를 최적화해야 하는지 보여줍니다.