주요 변경 사항
Proxy Finder가 호스트별 학습을 지원합니다. 단순히 전반적으로 빠른 proxy를 선택하는 대신, 요청하려는 사이트에서 이미 작동이 검증된 proxy를 선택합니다. Browser에는 콜드 스타트 실패 유형을 방지하는 안정성 수정이 적용되었습니다. 또한 Dashboard의 Metrics 및 Activity 뷰에서 제품별 필터링이 가능해졌습니다.
새로운 기능
대상 사이트에서 실제로 작동하는 proxy를 선택하는 Proxy Finder
이번 주 가장 큰 변화이며, 여러 차례의 반복 작업을 거쳐 적용되었습니다.
이전: Proxy Finder는 일반적인 성능 지표를 기반으로 글로벌 풀에서 proxy를 선택했습니다. 동일한 대상 사이트에 대한 두 요청이 동일한 광범위한 풀에서 선택되었고, 해당 풀의 proxy 대부분은 특정 사이트에서 작동하지 않았습니다.
현재: 쿼리하는 모든 대상 호스트에 대해 Proxy Finder는 실제로 성공한 proxy를 추적합니다. 새 요청은 검증된 세트에서 일부를 샘플링하고, 지속적인 학습을 위해 미확인 proxy를 소량 프로빙하며, 이미 실패한 proxy는 제외합니다. 검증된 세트는 호스트별로 관리되며 재시작 후에도 유지됩니다.
극소수의 proxy만 작동하는 보호된 사이트를 스크래핑할 때 이 변화를 체감할 수 있습니다. 실패하는 선택과 재시도가 줄어들고 불필요한 예산 낭비를 방지합니다.
이 기능은 플래그 기반으로 점진 배포되었으며, 세부 문제를 수정하기 위해 6번의 이터레이션을 거쳤고(트래픽이 적을 때 학습 로직을 안정적으로 유지하는 게이팅 작업에 추가 2번의 패스가 소요됨), 이번 주 프로덕션 기본값으로 전환되었습니다.
유휴 상태 이후에도 안정적인 Browser
두 가지 수정을 통해 하나의 결과를 도출했습니다.
첫째, Browser 콜드 스타트 시 스테일 상태 버그가 있었습니다. 유휴 시간이 길어지면 기본 디스플레이 레이어가 락을 유지하여 다음 실행이 성공하지 못했습니다. 일정 시간 비활성 후 첫 번째 요청이 실패하거나 멈출 수 있었던 문제입니다. 이제 실행 전에 해당 락을 정리합니다.
둘째, Browser로 라우팅되는 공개 API 경로가 일부 환경에서 잘못된 대상을 가리키고 있었습니다. 트래픽이 자동으로 잘못 라우팅되고 있었습니다. 현재 라우팅 설정이 수정되었습니다.
트래픽이 적을 때 Browser에서 첫 번째 요청이 불안정했던 현상은 이 문제로 인한 것이었습니다.
제품별로 Metrics 및 Activity 필터링
Dashboard의 Metrics 및 Activity 페이지에 제품 칩 필터가 추가되었습니다. Single, Browser 또는 Proxy Finder를 클릭하면 차트가 해당 제품의 트래픽으로만 한정됩니다. 집계된 뷰 대신 특정 사용량의 지연 시간이나 오류만 확인하려는 경우 유용합니다.
소규모 사이트 업데이트
/jobs 페이지가 오픈되었습니다. Founding Engineer와 Engineer를 채용 중입니다. 두 페이지 모두 업무 범위, 첫 달 계획, 지원 방법을 명시하고 있습니다.
또한 홈페이지 Dashboard 프리뷰의 모바일 렌더링을 개선하고, 9개 공개 경로에 걸쳐 페이지별 소셜 공유 이미지를 갱신했으며, 2026 AI 환경에 맞춰 robots.txt를 업데이트했습니다 (검색 및 소셜 공유 프리뷰어 허용, 학습용 크롤러 차단). 더불어 보다 명확한 사용 정책 조항과 EU 소비자 예외 조항이 포함된 소피아 관할권 안내로 이용약관을 갱신했습니다.
기술 세부 사항
기간 초반에 고객에게 노출되지 않는 내부 명칭 변경 작업을 통해 사이트 전반의 기능 이름을 수정했습니다. 제품과 동작은 동일하며, 기존 표현이 광고 플랫폼의 정책 필터에 걸리는 문제가 있었습니다.
새로운 선택 로직의 수치는 아직 공개하지 않습니다. 성공률을 검증하기 전에 프로덕션 트래픽에서 2주간의 온전한 데이터가 필요합니다. 신뢰할 수 있는 데이터가 확보되는 대로 수치를 공개하겠습니다.
지난 한 달간 대상 타깃에 어떤 proxy를 사용할지 결정하는 레이어를 재구축했습니다. 어려운 부분은 알고리즘 자체가 아니라, 실제 워크로드 환경에서 이것이 실제로 개선 효과가 있는지 측정하는 것입니다. 이것이 5월의 개발 내용입니다.