Проблема
Ваша команда выпускает продукт с объявлениями. Он работает три недели. Затем Zillow меняет DOM, Rightmove ужесточает проверки на ботов, и ваш скрапер перестает работать на четырех из шести источников за одни выходные.
Агрегация недвижимости имеет специфическую проблему, которой нет у мониторинга цен или трекинга SERP. Вы не получаете структурированные данные из одного чистого API. Вы собираете объявления с порталов, каждый из которых использует свои anti-bot решения, разные макеты, разные геолокации и разные интервалы обновления. Zillow в США, Redfin для данных на базе MLS, Rightmove в Великобритании, realestate.com.au в Австралии, Immobilienscout24 в Германии. Каждый портал представляет собой отдельный инженерный проект.
Согласно исследованию Scrapfly 2026 года, ведущие порталы недвижимости проверяют сигнатуру на уровне соединения и отклоняют клиентов без рукопожатия уровня браузера. Их руководство по Rightmove описывает JSON внутри переменных JavaScript, структура которых меняется каждые несколько месяцев. Redfin дробит данные об объектах на десятки узлов DOM, поэтому одно изменение верстки может сразу обнулить половину полей. А региональные порталы выдают разный контент в зависимости от страны посетителя, поэтому скрапер из США не увидит ничего полезного на realestate.com.au.
Результат: актуальность ваших объявлений незаметно падает. Треть ваших объектов устаревает за 48 часов. Ваши пользователи видят цены прошлой недели. Отдел продаж начинает получать отказы, а количество заявок в поддержку резко возрастает по понедельникам, поскольку порталы часто меняют верстку в выходные.
Подход
Агрегация объявлений в масштабе не является проблемой скрапинга. Это проблема надежности, замаскированная под него. Статья Почему ваш скрапер постоянно ломается описывает общий случай. Сфера недвижимости многократно усиливает каждый его аспект.
Любой платформе для успешной работы требуются четыре связанных элемента. Во-первых, сигнатура request, совпадающая с реальными браузерами (не просто строка User-Agent, а фактические сетевые детали, которые Zillow и Rightmove используют для отделения ботов от людей). Во-вторых, точные резидентные IP-адреса для каждого целевого рынка, поскольку немецкий агрегатор не может отправлять трафик из дата-центров США на Immobilienscout24 и получать полезные ответы. В-третьих, маршрутизация proxy для каждого хоста, так как стратегия для Zillow не сработает на realestate.com.au. В-четвертых, рендеринг в браузере как запасной вариант для порталов с клиентским рендерингом.
Пример request к Rightmove через продукт FourA Proxy выглядит примерно так:
curl -X POST https://api.foura.ai/api/proxy/ \
-H "x-api-key: YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"maxTries": 5,
"timeout_ms": 45000,
"request": {
"method": "GET",
"url": "https://www.rightmove.co.uk/properties/123456",
"unblocker": true,
"followRedirects": 5,
"validate": {
"status": {"accept": [200]},
"data": {"fail": ["blocked", "access denied"]}
}
}
}'
Флаг unblocker добавляет полный набор header браузера вместе с соответствующей сетевой сигнатурой. maxTries: 5 указывает менеджеру proxy перебирать до пяти IP-адресов до успешного результата. Правила валидации перехватывают скрытые блокировки: ответы 200, которые возвращают страницу мягкой блокировки вместо данных объявления. Таким образом, ваш процент успешных запросов отражает реальное положение дел, а не просто статус HTTP.
Порталы, выдающие все через JavaScript (Redfin является очевидным примером), требуют реального рендеринга в браузере. Наш продукт Browser обрабатывает их с помощью полноценного экземпляра браузера, а не легковесного эмулятора, который помечается при первом подключении. Обнаружение ботов стало поведенческим в 2026 году, и любые решения проще реального браузера становятся все более заметными.
Результаты
Что происходит, когда агрегатор недвижимости переходит от кастомного стека скрапинга к подходу API-first? Паттерны, которые мы наблюдаем в реальных операциях (иллюстративный сценарий на основе отраслевых бенчмарков):
- Актуальность объявлений улучшается с «обновлено в течение 48 часов» до «обновлено в течение 2 часов» для активных рынков
- Затраты времени инженеров на поддержку скраперов снижаются на 70%. Один дежурный инженер вместо выделенной команды
- Охват порталов расширяется с 6 до 20+ сайтов без пропорционального роста инфраструктуры
- Доля скрытых блокировок падает ниже 3% на защищенных порталах после внедрения правил валидации для мягких блокировок
Один из паттернов от команд, использующих нашу платформу: как только уровень надежности становится общим, добавление нового рынка превращается в изменение конфигурации, а не в отдельный спринт. Интересные вопросы смещаются с «почему это снова сломалось» на «какой портал нам добавить следующим».
Честное ограничение: порталам недвижимости, требующим авторизации (некоторые системы MLS, просмотры только для агентов), необходимо управление аккаунтами поверх инфраструктуры request. Это отдельная проблема, которую мы не решаем, и вам не следует доверять тем, кто заявляет обратное без объяснения методов.
Главный вывод
Недвижимость является одной из немногих отраслей, где устаревшие данные не просто неприятность. Это отказ продукта. Цена недельной давности на сайте одежды вызывает лишь легкое замешательство. Объявление недельной давности на горячем рынке означает, что ваш пользователь только что запросил дом, проданный во вторник.
Но побеждают здесь не команды с наибольшим количеством источников. Это те команды, которые перестали перестраивать одни и те же proxy и механизмы anti-bot для каждого нового портала. Как только этот уровень унифицирован, начинается интересная работа: качество данных, SLA по актуальности, дедупликация между порталами, анализ трендов цен. Это и есть продукт. Все, что находится ниже, должно просто работать.