Wyzwanie
Twój zespół dostarcza produkt oparty na ofertach. Działa przez trzy tygodnie. Potem Zillow zmienia swój DOM, Rightmove zaostrza kontrole botów, a twój scraper przestaje działać na czterech z sześciu źródeł w ciągu jednego weekendu.
Agregacja nieruchomości ma specyficzny problem, którego nie dzieli z monitorowaniem cen i śledzeniem SERP. Nie pobierasz ustrukturyzowanych danych z jednego czystego API. Łączysz oferty z portali, z których każdy używa innych stosów anti-bot, różnych układów, różnych geolokalizacji i różnych częstotliwości aktualizacji. Zillow w USA, Redfin dla danych opartych na MLS, Rightmove w Wielkiej Brytanii, realestate.com.au w Australii, Immobilienscout24 w Niemczech. Każdy portal to osobny projekt inżynieryjny.
Według badań Scrapfly z 2026 roku, czołowe portale nieruchomości badają sygnaturę na poziomie połączenia i odrzucają klientów, którzy nie pasują do handshake'u na poziomie przeglądarki. Ich przewodnik po Rightmove opisuje format JSON osadzony w zmiennych JavaScript, którego struktura zmienia się co kilka miesięcy. Redfin fragmentuje dane o nieruchomościach w dziesiątkach węzłów DOM, więc jedna drobna zmiana układu może usunąć połowę twoich pól za jednym razem. Ponadto portale regionalne serwują inne treści w zależności od kraju odwiedzającego, co oznacza, że scraper oparty w USA nie zobaczy nic użytecznego na realestate.com.au.
Rezultat: świeżość twoich ofert spada w sposób niezauważony. Jedna trzecia nieruchomości staje się nieaktualna w ciągu 48 godzin. Twoi użytkownicy widzą ceny z zeszłego tygodnia. Twój zespół sprzedaży zaczyna napotykać opór, a liczba zgłoszeń do pomocy technicznej gwałtownie rośnie w poniedziałki, ponieważ układy portali często zmieniają się w weekendy.
Podejście
Agregacja ofert na dużą skalę to nie problem ze scrapingiem. To problem z niezawodnością w przebraniu. Artykuł Dlaczego twój scraper ciągle się psuje opisuje ogólny przypadek. Branża nieruchomości wzmacnia każdy jego aspekt.
Każda platforma, która dobrze sobie z tym radzi, wymaga współdziałania czterech elementów. Po pierwsze, sygnatury request, która pasuje do prawdziwych przeglądarek (nie tylko ciąg znaków User-Agent przypominający przeglądarkę, ale rzeczywiste szczegóły na poziomie połączenia, których Zillow i Rightmove używają do oddzielania botów od ludzi). Po drugie, dokładnych geograficznie adresów IP typu residential w każdym rynku docelowym, ponieważ niemiecki agregator nie może wysyłać ruchu z amerykańskich centrów danych na Immobilienscout24 i oczekiwać użytecznych odpowiedzi. Po trzecie, per-host proxy routing, ponieważ strategia, która działa na Zillow, zawodzi na realestate.com.au. Po czwarte, renderowania w przeglądarce jako opcji zapasowej dla portali, które przenoszą wszystko na stronę klienta.
Przykładowe żądanie do Rightmove przez produkt Proxy od FourA wygląda mniej więcej tak:
curl -X POST https://api.foura.ai/api/proxy/ \
-H "x-api-key: YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"timeout_ms": 45000,
"request": {
"method": "GET",
"url": "https://www.rightmove.co.uk/properties/123456",
"unblocker": true,
"followRedirects": 5,
"validate": {
"status": {"accept": [200]},
"data": {"fail": ["blocked", "access denied"]}
}
}
}'
Flaga unblocker wstrzykuje pełny zestaw nagłówków przeglądarki wraz z pasującą sygnaturą na poziomie sieci. maxTries: 5 mówi menedżerowi proxy, aby rotował do pięciu adresów IP, dopóki jeden nie zadziała. Reguły walidacji wychwytują ciche blokady: odpowiedzi 200, które zwracają stronę miękkiej blokady zamiast danych ofert. Dzięki temu twój wskaźnik sukcesu odzwierciedla to, co faktycznie zadziałało, a nie to, co twierdził status HTTP.
Portale, które serwują wszystko przez JavaScript (Redfin to oczywisty przykład), wymagają prawdziwego renderowania w przeglądarce. Nasz produkt Browser obsługuje je za pomocą pełnej instancji przeglądarki, a nie lekkiego emulatora, który jest oflagowany przy pierwszym połączeniu. Wykrywanie botów stało się behawioralne w 2026 roku, a wszystko, co nie jest prawdziwą przeglądarką, staje się coraz bardziej widoczne.
Wyniki
Co się dzieje, gdy agregator nieruchomości przechodzi z niestandardowego stosu do scrapingu na podejście API-first? Wzorce, które widzimy w rzeczywistych operacjach (scenariusz ilustracyjny oparty na benchmarkach branżowych):
- Świeżość ofert poprawia się z "zaktualizowane w ciągu 48 godzin" na "zaktualizowane w ciągu 2 godzin" dla rynków aktywnych
- Czas inżynierów poświęcany na utrzymanie scraperów spada o 70%. Jeden inżynier na rotacji zamiast dedykowanego zespołu
- Zasięg portali rozszerza się z 6 do ponad 20 witryn bez proporcjonalnego wzrostu infrastruktury
- Wskaźniki cichych blokad spadają poniżej 3% na chronionych portalach, gdy reguły walidacji wychwytują miękkie blokady
Jeden wzorzec z zespołów używających naszej platformy: gdy warstwa niezawodności jest współdzielona, dodanie nowego rynku staje się zmianą konfiguracji zamiast sprintem. Ciekawe pytania przenoszą się z "dlaczego to znów się zepsuło" na "jaki portal powinniśmy dodać jako następny".
Uczciwe ograniczenie: portale nieruchomości, które wymagają zalogowanych sesji (niektóre systemy MLS, określone widoki tylko dla agentów), potrzebują zarządzania kontami na wierzchu infrastruktury żądań. To osobny problem, którego nie rozwiązujemy, i nie powinieneś ufać nikomu, kto twierdzi, że to robi, nie wyjaśniając jak.
Kluczowe wnioski
Branża nieruchomości to jedna z nielicznych branż, w których nieaktualne dane nie są tylko niedogodnością. To awaria produktu. Tygodniowa cena na stronie modowej to łagodne zakłopotanie. Tygodniowa oferta na gorącym rynku oznacza, że twój użytkownik zapytał właśnie o dom, który sprzedał się we wtorek.
Ale zespoły, które w tym wygrywają, to nie te, które mają najwięcej źródeł. To te, które przestały przebudowywać to samo proxy i mechanizmy anti-bot dla każdego nowego portalu. Gdy ta warstwa jest współdzielona, zaczyna się ciekawa praca: jakość danych, SLA świeżości, deduplikacja między portalowa, analiza trendów cenowych. To jest produkt. Wszystko pod spodem powinno po prostu działać.