Validate 규칙으로 성공 기준 직접 정의하기
validate 규칙을 사용하여 어떤 response를 성공으로 간주할지 선언하세요. 이제 허용된 non-200 response도 올바르게 과금되며 Activity 피드에 성공으로 표시됩니다.
Playground: 대시보드에서 Request 빌드 및 테스트하기
대시보드 내부에 Playground를 출시했습니다. endpoint를 선택하고, 필드를 입력한 뒤, Send를 누르고, curl을 복사하세요. 3개의 endpoint, 1개의 cookie jar, 모든 header를 제공합니다.
420만 개 request의 response time을 2.5초에서 1초 미만으로 단축한 과정
24시간 동안 420만 개의 request 처리. 평균 774 ms로, 전주의 2.5초에서 단축되었습니다. 실제 percentile 데이터와 함께 request path에서 무엇이 변경되었는지 공유합니다.
Web Unblocker 내부 동작: Unblocker 플래그의 실제 역할
플래그 하나로 실제 브라우저 header, 일치하는 TLS fingerprint, gzip 및 brotli 자동 압축 해제라는 세 가지 설정이 활성화됩니다. 변경 사항과 그 이유를 알아봅니다.
Redirect 제어 및 Raw Buffer 모드
FourA의 API가 이제 설정 가능한 redirect 제한과 raw binary response를 지원합니다. 실제 스크래핑 edge case를 처리하는 방식을 바꿔줄 두 가지 옵션입니다.
Browser Tasks: JavaScript가 많은 사이트 스크래핑 방법
현대 웹사이트의 70% 이상이 콘텐츠를 렌더링하기 위해 JavaScript를 필요로 합니다. HTTP request가 빈 결과를 반환할 때 FourA의 Browser Tasks를 통해 전체 페이지를 가져오는 방법을 소개합니다.
대시보드 분석 및 사용량 인사이트
도메인별 request 볼륨, 성공률, response 시간, 비용 분석: FourA 분석 대시보드는 어떤 부분이 원활히 작동하고 어디를 최적화해야 하는지 보여줍니다.
Smart Proxy Routing 소개
이제 FourA는 대상 사이트의 방어 체계를 기반으로 모든 request에 대해 최적의 proxy 유형과 위치를 자동으로 선택합니다. 성공률이 최대 23%까지 상승했습니다.