Auto 소개: 모든 타겟을 위한 단일 endpoint
Auto endpoint는 각 request에 맞춰 Single, Proxy Finder 또는 Browser를 선택하고 안티봇 방어를 처리하며, 다음 호출에 재사용할 수 있는 세션을 반환합니다.
Validate 규칙으로 성공 기준 직접 정의하기
validate 규칙을 사용하여 어떤 response를 성공으로 간주할지 선언하세요. 이제 허용된 non-200 response도 올바르게 과금되며 Activity 피드에 성공으로 표시됩니다.
Playground: 대시보드에서 Request 빌드 및 테스트하기
대시보드 내부에 Playground를 출시했습니다. endpoint를 선택하고, 필드를 입력한 뒤, Send를 누르고, curl을 복사하세요. 3개의 endpoint, 1개의 cookie jar, 모든 header를 제공합니다.
420만 개 request의 response time을 2.5초에서 1초 미만으로 단축한 과정
24시간 동안 420만 개의 request 처리. 평균 774 ms로, 전주의 2.5초에서 단축되었습니다. 실제 percentile 데이터와 함께 request path에서 무엇이 변경되었는지 공유합니다.
언블로커 플래그 내부: `unblocker: true`의 실제 동작 방식
단일 플래그로 실제 브라우저 헤더, 일치하는 연결 서명, gzip 및 brotli 자동 압축 해제 등 세 가지 기능을 활성화합니다. 이 기능의 동작 방식과 이유를 설명합니다.
리다이렉트 제어 및 원시 버퍼 모드
이제 FourA API에서 구성 가능한 리다이렉트 제한과 원시 바이너리 응답을 지원합니다. 실제 스크래핑 엣지 케이스를 처리하는 방식을 바꾸는 두 가지 옵션입니다.
Browser Tasks: JavaScript가 많은 사이트 스크래핑 방법
현대 웹사이트의 70% 이상이 콘텐츠를 렌더링하기 위해 JavaScript를 필요로 합니다. HTTP request가 빈 결과를 반환할 때 FourA의 Browser Tasks를 통해 전체 페이지를 가져오는 방법을 소개합니다.
대시보드 분석 및 사용량 인사이트
도메인별 request 볼륨, 성공률, response 시간, 비용 분석: FourA 분석 대시보드는 어떤 부분이 원활히 작동하고 어디를 최적화해야 하는지 보여줍니다.
Smart Proxy Routing 소개
이제 FourA는 대상 사이트의 방어 체계를 기반으로 모든 request에 대해 최적의 proxy 유형과 위치를 자동으로 선택합니다. 성공률이 최대 23%까지 상승했습니다.