# B2B 기업 데이터 인리치먼트 파이프라인 구축

> URL: https://foura.ai/ko/blog/b2b-company-enrichment-pipeline
> Updated: 2026-09-27
> Index: https://foura.ai/llms.txt

## 과제

B2B SaaS 제품을 개발 중인 상황을 가정해 보겠습니다. 고객이 회사 이름 목록을 업로드합니다. 고객은 매출 규모, 임직원 수, 기술 스택, 투자 유치 단계, 주요 연락처, 최근 뉴스가 포함된 정제된 데이터를 기대합니다. 며칠이 아닌 몇 분 내로 반환되기를 바라며, 데이터가 정확하기를 원합니다.

데이터는 존재합니다. Crunchbase, 기업 소개 페이지, LinkedIn 회사 페이지, Google Maps, Glassdoor, 지역별 사업자 등록부, TechCrunch 아카이브 등에 흩어져 있습니다. 문제는 이를 안정적으로 수집하는 것입니다.

소스마다 차단 및 오류 방식이 제각각입니다. Crunchbase는 봇으로 의심되면 다시 렌더링을 유발하는 무거운 클라이언트 사이드 앱을 제공합니다. LinkedIn은 공격적으로 rate limit을 적용하며 셀렉터를 패치하는 속도보다 빠르게 DOM을 변경합니다 (널리 알려진 커뮤니티 게시글에 따르면 기본 Python 스크래퍼는 약 50개 프로필을 수집한 시점부터 사이트에서 거부되기 시작합니다). 기업 웹사이트는 정적 HTML부터 콘텐츠 표시를 위해 전체 브라우저가 필요한 단일 페이지 앱까지 다양합니다. 지역별 디렉터리는 분기마다 레이아웃을 바꾸고 국가별 차단을 적용합니다. [GroupBWT의 2026년 업계 보고서](https://groupbwt.com/blog/challenges-in-web-scraping/)에 따르면 특정 분야 크롤러의 10, 15%는 봇 탐지 변경과 DOM 드리프트에 대응하기 위해 매주 수정이 필요합니다.

결과적으로 초기에는 깔끔한 5개 소스 구조로 시작했던 데이터 보강 파이프라인이 6개월 후에는 반쯤 망가진 스크래퍼, 재시도 큐, 아무도 열어보지 않는 `#scraper-alerts` Slack 채널의 엉망진창 덩어리로 변합니다 (이전에 [직접 스크래퍼를 유지 관리할 때 발생하는 숨겨진 비용](https://foura.ai/blog/the-hidden-cost-of-maintaining-your-own-scrapers)에 대해 다룬 적이 있습니다). 지원 큐에는 데이터 품질 관련 불만이 쌓여갑니다. 팀에서는 회사 이름을 "다섯 개의 스크래퍼와 기도"로 지었어야 했다는 농담까지 나오기 시작합니다.

## 접근 방식

스크래퍼는 잠시 잊어버리십시오. 데이터 보강에서 가장 어려운 부분은 추출이 아닙니다. 어떤 소스에 어떤 툴, 어떤 proxy, 어떤 재시도 정책이 필요한지, 그리고 무엇을 "정상적인" 응답으로 간주할지 결정하는 라우팅입니다.

FourA 같은 플랫폼은 여러분이 접근하게 될 세 가지 소스 유형에 정확히 대응하는 세 가지 제품을 제공합니다.

**정적 HTML 디렉터리 및 등록부.** 대부분의 지역 사업자 등록부와 상당수의 기존 B2B 디렉터리는 서버 렌더링 방식입니다. 깨끗한 IP에서 전송되는 빠르고 오버헤드가 적은 HTTP request를 선호합니다. 이것이 바로 **Single**입니다. URL 하나를 넣고, 응답 하나를 받습니다. `unblocker: true`을 추가하면 기본 HTTP 클라이언트를 완전히 차단하는 핸드셰이크 수준의 차단도 우회합니다. Single은 **Proxy Finder**를 통해 자동으로 라우팅하며 응답 최상위 레벨에 proxy ID(`r.proxy`)를 반환하므로, 세션 연속성이 필요할 때 후속 호출에서 이를 `proxy:"<id>"`로 다시 전달하여 동일한 출구를 유지할 수 있습니다.

**JavaScript 비중이 높은 SPA.** Crunchbase, LinkedIn 스타일의 애플리케이션, 심지어 중소 규모 기업 사이트조차 일반적인 HTTP response로는 원하는 데이터를 반환하지 않습니다. 클라이언트에서 렌더링하기 때문입니다. 바로 이때 **Browser**를 사용합니다. 전체 브라우저가 페이지를 실행하고 JS를 구동한 뒤 렌더링된 HTML, cookie, 스크린샷을 반환합니다. Single과 마찬가지로 내부적으로 Proxy Finder를 통해 라우팅되므로 별도의 선택 작업이 필요 없습니다.

**검증을 포함한 복합 소스.** FourA API로 보내는 모든 request에는 `validate` 블록을 포함할 수 있습니다. 특정 status code, header 일치 여부, 또는 body 내 부분 문자열 일치를 필수로 지정할 수 있습니다. response가 소프트 실패(인증을 요구하는 200 페이지, 빈 데이터 껍데기, "오류가 발생했습니다" 안내 페이지 등)인 경우 검증기가 이를 거부합니다. 그러면 파이프라인이 동일한 URL을 Browser를 통해 라우팅할 수 있습니다. 이 기능 하나만으로도 데이터 보강에서 가장 비용이 많이 드는 버그인 '데이터베이스에 무의미한 데이터를 기록하는 무음 실패'를 완전히 방지할 수 있습니다.

단일 소스 호출의 구조는 다음과 같습니다.

```bash
curl -X POST https://api.foura.ai/api/single \
  -H "X-API-Key: pk_live_..." \
  -d '{
    "url": "https://registry.example.com/company/123",
    "unblocker": true,
    "followRedirects": 5,
    "validate": {
      "status": { "accept": [200] },
      "data":   { "fail":   ["captcha", "blocked", "access denied"] }
    }
  }'
```

JavaScript 비중이 높은 기업 사이트를 위한 Browser 버전은 다음과 같습니다.

```bash
curl -X POST https://api.foura.ai/api/browser \
  -H "X-API-Key: pk_live_..." \
  -d '{
    "url": "https://www.example-saas.com/about",
    "unblocker": true
  }'
```

라우팅 로직은 사용자의 파이프라인에 위치합니다. 신뢰성은 FourA가 책임집니다. 어떤 소스에 어떤 툴을 적용할지는 사용자가 결정합니다. FourA는 해당 툴이 실제로 대상에 도달하도록 보장합니다.

## 결과

퍼블릭 베타 기간 동안 여러 팀이 자체 스크래퍼에서 FourA 라우팅 파이프라인으로 전환하는 과정을 지켜보았습니다. 결과 패턴은 일관적이었습니다 (베타 참여 팀 전반에서 관찰된 지표 기반 예시):

- **Enrichment 레이턴시**: 캐시된 주거용 라우트에서 기업당 3~6초에서 중앙값 1.5초 미만으로 감소
- **무음 실패율(Silent-failure rate)**: `validate` 블록이 데이터베이스 도달 전 소프트 실패를 감지하면서 200 응답 후 빈 데이터를 반환하는 비율이 약 8%에서 1% 미만으로 감소
- **스크래퍼 유지보수에 투입되는 엔지니어링 리소스**: 전담 엔지니어 1~2명 수준에서 대체로 조용한 Slack 채널 하나 수준으로 감소
- **첫 시도 성공률(First-pass success rate)**: `unblocker: true` 및 클린 proxy id 조합 시 보호된 디렉터리 대상 90% 후반대로 상승

주목할 만한 수치가 하나 더 있습니다. 첫 시도 *정확도*(올바른 회사의 올바른 데이터)가 첫 시도 *성공률*보다 약 4%포인트 뒤처진다는 점입니다. 스크래핑 자체가 어렵다는 뜻이 아닙니다. 실제로 요청한 회사와 반환된 레코드가 일치하는지 여전히 검증해야 한다는 의미입니다 (이 패턴에 대해서는 [웹 스크래퍼가 계속 깨지는 이유](https://foura.ai/blog/why-your-web-scraper-keeps-breaking)에서 다룬 바 있습니다).

중요한 수치는 proxy 풀 크기나 request 수가 아닙니다. 첫 시도에서 enrichment endpoint가 *올바른* 데이터를 반환하는 비율, 그리고 향후 6개월간 스크래퍼 유지보수 부담 그래프가 그리는 기울기입니다.

## 핵심 요약

Enrichment 파이프라인은 서서히 무너집니다. 처음 작성한 스크래퍼는 화요일에는 정상적으로 동작하는 것처럼 보입니다. 소스가 세 개로 늘어나면 밤 11시에 셀렉터를 수정하게 됩니다. 열 개에 이르면 고객 기반 확장에 비례해 유지보수 기술 부채를 떠안게 됩니다. 스무 개가 되면 팀 내 누구도 다음 소스를 맡고 싶어 하지 않아 조용히 신규 소스 추가를 중단하게 됩니다.

병목은 소스 자체에 있지 않았습니다. 모든 URL에 대해 매번 적절한 툴, 적절한 proxy, 적절한 검증 규칙을 선택하는 라우팅이 문제였습니다. 이 레이어를 한 번 제대로 구축하거나 이를 이미 수행하는 시스템에 맡기면, 팀은 셀렉터 손상을 분류하는 대신 제품 개발에 온전히 시간을 투자할 수 있습니다.
