바쁘게 배포를 진행한 한 주였습니다. 3월 24일부터 3월 30일 사이에 배포된 기능들을 소개합니다.
스마트 proxy 라우팅
이제 proxy 작업 유형이 각 request에 대해 가장 적합한 proxy 경로를 자동으로 선택합니다. FourA는 proxy를 무작위로 순환하는 대신 대상 사이트의 보안 수준을 분석하여 최적의 proxy 유형을 선택합니다. 속도를 위한 데이터 센터, 우회를 위한 residential, 가장 까다로운 대상을 위한 모바일 proxy가 제공됩니다.
실패한 request는 다른 경로를 통해 자동으로 재시도됩니다. 자체 테스트 결과, 보안이 강력한 사이트에서의 성공률이 30-40% 향상되었습니다.
대시보드 분석
이제 대시보드에 전체 분석 섹션이 포함됩니다. 시간 경과에 따른 request 볼륨, 대상 도메인별 성공률, response 시간 백분위수(p50/p95/p99), 대역폭 소비량이 제공됩니다. 데이터 수집 파이프라인을 최적화하는 데 필요한 모든 정보를 확인할 수 있습니다.
문서 개선 사항
Python, Node.js, Go, Ruby용 새 가이드를 추가하여 시작하기 섹션을 확장했습니다. 또한 API 레퍼런스에 모든 endpoint에 대한 전체 request/response 예시가 포함되었습니다.
버그 수정
- 브라우저 작업에서 페이지 이동이 완료되기 전에
waitFor타이머가 시작되어 타임아웃 계산이 잘못되던 문제를 수정했습니다. - 잘못된 URL 형식에 대한 에러 메시지를 개선했습니다. (이전 메시지는 디버깅하기에 너무 모호했습니다.)
status필터를 사용할 때 작업 목록 API의 페이지네이션 문제를 수정했습니다.
다음 주 예고
- 유럽에서의 저지연 접속을 위한 EU API endpoint
- 실시간 서비스 상태 모니터링을 위한 상태 페이지
- 전체 검색 기능이 포함된 문서 사이트 출시
하지만 이번 주의 가장 큰 변화는 스마트 proxy 라우팅입니다. 보안이 적용된 사이트를 수집하는 경우, 작업을 proxy 유형으로 전환하고 라우팅 엔진에 처리를 맡겨보세요.