← Tất cả bài viết
Ứng dụng thực tế 7 phút đọc

Tổng hợp danh sách bất động sản ở quy mô lớn

Các cổng thông tin bất động sản sử dụng các giải pháp bot-detection, layout và vị trí địa lý khác nhau. Đây là cách tổng hợp dữ liệu listing theo quy mô lớn mà không cần duy trì sáu scraper riêng biệt.

real-estateweb-scrapingproxy-rotationanti-botdata-aggregation

Thách thức

Đội ngũ của bạn ra mắt một sản phẩm tổng hợp tin đăng bất động sản. Nó hoạt động ổn định trong ba tuần. Sau đó, Zillow thay đổi cấu trúc DOM, Rightmove thắt chặt kiểm tra bot, và công cụ thu thập dữ liệu của bạn ngừng hoạt động trên 4 trong số 6 nguồn chỉ trong một dịp cuối tuần.

Tổng hợp dữ liệu bất động sản gặp phải một vấn đề đặc thù mà việc theo dõi giá hay theo dõi thứ hạng SERP không gặp phải. Bạn không trích xuất dữ liệu có cấu trúc từ một API duy nhất và sạch sẽ. Bạn đang ghép nối các tin đăng từ nhiều cổng thông tin, mỗi cổng lại sử dụng các giải pháp chống bot khác nhau, bố cục khác nhau, vị trí địa lý khác nhau và tần suất cập nhật khác nhau. Zillow tại Mỹ, Redfin cho dữ liệu từ MLS, Rightmove tại Anh, realestate.com.au tại Úc, Immobilienscout24 tại Đức. Mỗi cổng thông tin là một bài toán kỹ thuật riêng biệt.

Theo nghiên cứu năm 2026 của Scrapfly, các cổng thông tin bất động sản hàng đầu kiểm tra chữ ký ở cấp độ kết nối và từ chối các client không khớp với quy trình bắt tay chuẩn trình duyệt. Hướng dẫn về Rightmove của họ phân tích chi tiết định dạng JSON nhúng trong các biến JavaScript thường xuyên thay đổi cấu trúc vài tháng một lần. Redfin phân mảnh dữ liệu bất động sản trên hàng chục DOM node, vì vậy một chỉnh sửa bố cục nhỏ có thể làm mất một nửa số trường dữ liệu của bạn cùng lúc. Và các cổng thông tin khu vực phân phối nội dung khác nhau tùy theo quốc gia của khách truy cập, đồng nghĩa với việc một scraper đặt tại Mỹ sẽ không thấy dữ liệu hữu ích nào trên realestate.com.au.

Kết quả là: độ mới của dữ liệu tin đăng giảm sút trong âm thầm. Một phần ba số bất động sản bị lỗi thời trong vòng 48 giờ. Người dùng nhìn thấy mức giá từ tuần trước. Đội ngũ kinh doanh bắt đầu nhận phản hồi tiêu cực, và các yêu cầu hỗ trợ tăng vọt vào thứ Hai vì bố cục cổng thông tin thường thay đổi vào cuối tuần.

Hướng tiếp cận

Tổng hợp tin đăng ở quy mô lớn không đơn thuần là bài toán thu thập dữ liệu. Đó là bài toán về độ tin cậy được ẩn dưới lớp vỏ scraping. Bài viết Tại sao scraper của bạn liên tục gặp lỗi phân tích các trường hợp chung. Bất động sản làm vấn đề này phức tạp hơn ở mọi khía cạnh.

Bất kỳ nền tảng nào xử lý tốt vấn đề này đều cần bốn yếu tố phối hợp chặt chẽ. Thứ nhất, một chữ ký request khớp với trình duyệt thực (không chỉ là chuỗi User-Agent giống trình duyệt, mà là các chi tiết thực tế ở cấp độ đường truyền mà Zillow và Rightmove dùng để phân biệt bot với người dùng thực). Thứ hai, hệ thống IP residential chuẩn xác theo vị trí địa lý tại từng thị trường mục tiêu, vì một hệ thống tổng hợp tại Đức không thể gửi lưu lượng truy cập từ datacenter Mỹ đến Immobilienscout24 và mong đợi nhận lại phản hồi hữu ích. Thứ ba, định tuyến proxy theo từng host, vì chiến lược hiệu quả với Zillow sẽ thất bại trên realestate.com.au. Thứ tư, khả năng render bằng trình duyệt như một phương án dự phòng cho các cổng thông tin chuyển toàn bộ xử lý về phía client.

Một request mẫu tới Rightmove qua sản phẩm Proxy của FourA được thực hiện như sau:

curl -X POST https://api.foura.ai/api/proxy/ \
  -H "x-api-key: YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "maxTries": 5,
    "timeout_ms": 45000,
    "request": {
      "method": "GET",
      "url": "https://www.rightmove.co.uk/properties/123456",
      "unblocker": true,
      "followRedirects": 5,
      "validate": {
        "status": {"accept": [200]},
        "data": {"fail": ["blocked", "access denied"]}
      }
    }
  }'

Cờ unblocker inject đầy đủ tập header của trình duyệt cùng với chữ ký mức wire tương ứng. maxTries: 5 yêu cầu proxy manager xoay vòng tối đa 5 IP cho đến khi có một IP thành công. Các quy tắc validation sẽ bắt các trường hợp silent block: những response 200 trả về trang từ chối khéo (soft refusal) thay vì dữ liệu listing. Nhờ đó, tỷ lệ thành công phản ánh đúng những gì thực sự hoạt động, không phải những gì HTTP status báo cáo.

Các cổng thông tin hiển thị mọi thứ qua JavaScript (Redfin là ví dụ điển hình) cần render bằng trình duyệt thực. Sản phẩm Browser của chúng tôi xử lý những cổng này bằng một instance trình duyệt hoàn chỉnh, không phải trình giả lập nhẹ vốn bị phát hiện ngay từ kết nối đầu tiên. Hệ thống phát hiện bot đã chuyển sang phân tích hành vi vào năm 2026, và bất kỳ giải pháp nào không phải trình duyệt thực đều ngày càng dễ bị nhận diện.

Kết quả

Điều gì xảy ra khi một bên tổng hợp bất động sản chuyển từ stack scraping tự dựng sang phương pháp tiếp cận ưu tiên API? Các mô hình chúng tôi ghi nhận qua các hoạt động thực tế (kịch bản minh họa dựa trên chuẩn đối sánh ngành):

  • Độ mới của listing cải thiện từ "cập nhật trong vòng 48 giờ" thành "cập nhật trong vòng 2 giờ" đối với các thị trường sôi động
  • Thời gian kỹ thuật dành cho việc bảo trì scraper giảm 70%. Một kỹ sư luân phiên thay vì cả một đội ngũ chuyên trách
  • Phạm vi bao phủ cổng thông tin mở rộng từ 6 trang lên hơn 20 trang mà không làm tăng hạ tầng theo tỷ lệ thuận
  • Tỷ lệ silent block giảm xuống dưới 3% trên các cổng được bảo vệ sau khi các quy tắc validation bắt được soft block

Một mô hình chung từ các đội ngũ sử dụng nền tảng của chúng tôi: khi lớp độ tin cậy được dùng chung, việc thêm thị trường mới chỉ là thay đổi cấu hình thay vì mất cả một sprint. Các câu hỏi đáng quan tâm chuyển từ "tại sao chỗ này lại hỏng tiếp" sang "chúng ta nên thêm cổng thông tin nào tiếp theo."

Hạn chế thực tế: các cổng bất động sản yêu cầu phiên đăng nhập (một số hệ thống MLS, một số giao diện chỉ dành cho môi giới) cần quản lý tài khoản bên cạnh hạ tầng request. Đó là một bài toán riêng biệt mà chúng tôi không xử lý, và bạn không nên tin bất kỳ ai tuyên bố họ làm được điều đó mà không giải thích rõ cách thức.

Điểm cốt lõi

Bất động sản là một trong số ít ngành mà dữ liệu cũ không chỉ là sự phiền toái. Đó là một thất bại của sản phẩm. Giá cũ cả tuần trên một trang thời trang chỉ là sự cố nhỏ. Một listing cũ cả tuần ở thị trường sôi động đồng nghĩa với việc người dùng vừa hỏi mua một căn nhà đã bán từ hôm thứ Ba.

Tuy nhiên, các đội ngũ chiến thắng trong lĩnh vực này không phải là bên có nhiều nguồn nhất. Họ là những người đã dừng việc tái xây dựng hệ thống proxy và request cho từng cổng thông tin mới. Khi lớp hạ tầng đó được dùng chung, công việc thực sự giá trị mới bắt đầu: chất lượng dữ liệu, SLA về độ mới, khử trùng lặp giữa các cổng thông tin, phân tích xu hướng giá. Đó mới chính là sản phẩm. Mọi thứ bên dưới chỉ cần hoạt động ổn định.