하이라이트
Proxy Finder에 호스트별 학습 기능이 추가되었습니다. 이제 단순히 전반적으로 빠른 proxy를 선택하는 것이 아니라, 요청하려는 대상 사이트에서 이미 작동했던 proxy를 선택합니다. Browser는 콜드 스타트(cold-start) 실패 유형을 잡아내는 안정성 패치가 적용되었습니다. 또한 Dashboard의 Metrics 및 Activity 뷰에서 제품별로 범위를 필터링할 수 있게 되었습니다.
새로운 기능
Proxy Finder가 대상 사이트에서 실제로 작동하는 proxy를 선택합니다
이번 주 가장 큰 변경 사항이며, 여러 번의 이터레이션을 거쳐 반영되었습니다.
이전: Proxy Finder는 전반적인 적합도에 따라 글로벌 풀에서 proxy를 선택했습니다. 동일한 대상 사이트로 보내는 두 개의 request가 동일한 광범위한 풀에서 선택되었으며, 해당 풀의 proxy 대부분이 특정 사이트에서 작동하지 않더라도 마찬가지였습니다.
현재: 쿼리하는 모든 대상 호스트에 대해, Proxy Finder는 실제로 데이터를 전달한 proxy가 무엇인지 추적합니다. 새로운 request는 검증된 세트에서 몇 개를 샘플링하고, 지속적인 학습을 위해 알려지지 않은 proxy를 소량 탐색(probe)하는 방식으로 대체 작동하며, 이미 해당 사이트에서 실패한 proxy는 피합니다. 검증된 세트는 호스트별로 관리되며 재시작 후에도 유지됩니다.
극히 일부의 proxy만 작동하는 보호된 사이트를 스크래핑하는 경우, 이 변화를 확실히 체감할 수 있을 것입니다. 실패하는 선택이 줄어들고, 재시도 횟수가 감소하며, 예산 낭비가 방지됩니다.
이 기능은 플래그 뒤에서 배포되어 미흡한 점을 보완하기 위해 6번의 이터레이션을 거쳤으며(그중 트래픽이 적을 때도 학습 로직이 안정적으로 유지되도록 제한하는 작업에 2번의 추가 패스가 필요했습니다), 이번 주에 프로덕션 기본값으로 전환되었습니다.
유휴 시간 이후에도 Browser가 안정적으로 작동합니다
두 가지 수정 사항으로 하나의 결과가 도출되었습니다.
첫째, Browser의 콜드 스타트 시 오래된 상태(stale-state) 버그가 있었습니다. 충분한 유휴 시간이 지난 후, 하위 디스플레이 레이어가 락(lock)을 유지하여 다음 실행이 성공하지 못하도록 방해했습니다. 활동이 없던 기간 이후의 첫 번째 request가 실패하거나 중단(hang)될 수 있었습니다. 이제 실행 전에 락을 해제합니다.
둘째, Browser로 라우팅되는 공개 API 경로가 일부 환경에서 잘못된 대상을 가리키고 있었습니다. 트래픽이 감지되지 않은 채 잘못 라우팅되고 있었습니다. 이제 라우팅 설정이 올바르게 수정되었습니다.
낮은 트래픽 볼륨에서 Browser의 첫 번째 request가 불안정하게 작동하는 현상을 겪으셨다면, 이 버그가 원인이었습니다.
제품별로 Metrics 및 Activity 필터링
Dashboard의 Metrics 및 Activity 페이지에 제품 칩 필터가 추가되었습니다. Single, Browser 또는 Proxy Finder를 클릭하면 차트가 해당 제품의 트래픽으로만 제한됩니다. 통합된 뷰 대신 사용량의 특정 부분에 대한 레이턴시나 에러만 확인하고 싶을 때 유용합니다.
소규모 사이트 업데이트
/jobs 페이지가 개설되었습니다. 현재 Founding Engineer와 Engineer를 채용 중입니다. 두 채용 페이지 모두 업무 범위, 첫 달의 업무 모습, 지원 방법을 명시하고 있습니다.
또한 홈페이지의 Dashboard 미리보기 모바일 렌더링을 개선하고, 9개의 공개 경로에 대한 페이지별 소셜 공유 이미지를 갱신했으며, 2026년 AI 시대에 맞춰 robots.txt를 업데이트하고(정보 검색 및 소셜 공유 미리보기 허용, 학습용 크롤러 차단), 이용약관(Terms of Service)을 업데이트하여 허용 가능한 사용 조항을 명확히 하고 EU 소비자 예외 조항이 포함된 소피아 관할권 고지를 추가했습니다.
내부 변경 사항
최근 진행된 고객 비노출 영역의 명칭 변경 사항: 사이트 전반에서 "anti-bot bypass"가 "anti-bot resilience"로 변경되었습니다. 제품과 동작은 동일하며, 이전 문구가 광고 플랫폼의 정책 필터에 걸리는 문제가 있었습니다.
새로운 선택 로직의 수치는 아직 공개하지 않습니다. 성공률에 대해 주장하기 전에 프로덕션 트래픽에서 온전한 2주의 데이터가 쌓이기를 기다리고 있습니다. 실제 수치가 확보되는 대로 공개하겠습니다.
지난 한 달 동안 어떤 대상에 어떤 proxy를 사용할지 결정하는 레이어를 재구축했습니다. 가장 어려운 부분은 알고리즘이 아니라, 실제 워크로드에서 이것이 실제로 도움이 되는지 측정하는 것입니다. 5월의 주요 작업 방향은 이와 같습니다.