Dữ liệu giá gỗ châu Âu về mặt kỹ thuật là công khai, nhưng trên thực tế lại không thể sử dụng được. Một quốc gia niêm yết giá gỗ sồi bằng Euro trên mỗi mét khối, chưa bao gồm thuế. Một quốc gia láng giềng lại chia sẻ giá gỗ dẻ gai bằng đồng nội tệ, đã bao gồm thuế, nằm ẩn bên trong một tệp PDF dạng quét không có lớp văn bản để tìm kiếm. Tệ hơn nữa, cây đứng, gỗ tròn ven đường và các lô đấu giá tuyển chọn thường được báo giá cạnh nhau như thể chúng là cùng một loại sản phẩm.
Dữ liệu thô tồn tại. Thông tin thị trường thực tế thì không.
KORENA đã ra mắt KORENA Timber Index để giải quyết vấn đề đó. Kết quả là một nguồn tham chiếu hàng ngày, truy cập miễn phí cho giá gỗ cứng, gỗ xẻ và gỗ tấm tại châu Âu. Tính đến giữa năm 2026, chỉ số này theo dõi khoảng hai mươi loài và 170 hàng giá theo khu vực trên khắp mười quốc gia (Romania, Đức, Bulgaria, Ba Lan, Pháp, Áo, Ý, Phần Lan, Na Uy, Thụy Điển), cùng với một phân khúc sàn giao dịch toàn EU.
Để một nhóm kỹ thuật chỉ có hai người bao quát được khối lượng công việc lớn như vậy, KORENA cần giải quyết dứt điểm một quyết định: ai sẽ xử lý việc thu thập web. Họ đã chọn FourA và định tuyến toàn bộ lưu lượng qua nền tảng này.
Một cổng duy nhất ra web
KORENA đã đưa ra một lựa chọn kiến trúc từ sớm: mọi request web ra bên ngoài đều đi qua FourA. Họ loại bỏ hoàn toàn các scraper rời rạc, script dùng một lần và các lệnh tùy biến ẩn trong codebase.
Đây không phải là vấn đề tiện lợi. Đó là tính nhất quán. Các cổng thông tin lâm nghiệp hoạt động rất khó lường. Một số là trang HTML tĩnh. Một số khác là nền tảng đấu giá hiện đại chỉ hiển thị dữ liệu sau khi trình duyệt render xong. Các trang web chính phủ thường chậm, lỗi thời hoặc được bảo vệ nghiêm ngặt.
Bằng cách định tuyến tất cả lưu lượng qua hạ tầng request của FourA, KORENA xử lý việc thử lại, backoff, logging và cảnh báo theo cùng một cách trên mọi nguồn. Ngoài ra, mỗi tài liệu thu thập được đều có thể băm, lưu trữ và truy vết ngược lại mức giá cuối cùng để phục vụ kiểm toán.
Chọn chiến lược thu thập phù hợp cho từng nguồn
Thay vì hardcode logic thu thập cho từng trang web, KORENA ánh xạ từng nguồn dữ liệu với một endpoint FourA cụ thể trực tiếp trong cơ sở dữ liệu của họ (xem lựa chọn đúng loại task để biết phân tích chi tiết). Họ có thể chuyển đổi chiến lược mà không cần sửa code phân tích cú pháp cốt lõi:
Single (
/single/): trang HTML tĩnh, feed XML và tải trực tiếp file PDF. Báo cáo thống kê của Đức, cập nhật từ lâm nghiệp nhà nước Bulgaria, bảng giá của Romania. Nhanh, nhẹ, là lựa chọn mặc định phù hợp cho hầu hết các trang web.Browser (
/browser/): ứng dụng web tương tác cần một môi trường trình duyệt thực tế. Nền tảng đấu giá e-Drewno của Ba Lan yêu cầu render trước khi các con số xuất hiện. HTML ban đầu không có dữ liệu hữu ích.Proxy Finder (
/proxy/): phương án dự phòng cho các mục tiêu khó khăn nhất. Xoay vòng mạnh hơn, kèm theounblocker: truecho các kiểm tra ở cấp độ bắt tay.
Vì đây là cấu hình theo từng nguồn chứ không phải script viết cứng, KORENA có thể chuyển một nguồn từ Single sang Browser rồi sang Proxy Finder khi một trang web thay đổi cơ chế phòng thủ. Lớp xử lý dữ liệu (parsing layer) hoàn toàn không bị ảnh hưởng.
PDF dạng quét: Phần khó khăn nhất
Các web API hiện đại rất dễ xử lý. Trường hợp khó tự động hóa nhất là các file PDF chỉ chứa hình ảnh. Bảng giá và kết quả đấu giá được xuất bản dưới dạng bản quét, hoàn toàn không có lớp văn bản. Đối với con người thì điều này gây phiền toái. Nhưng đối với một chỉ số cập nhật hàng ngày, nó sẽ làm tắc nghẽn toàn bộ pipeline.
Pipeline của KORENA xử lý chúng thông qua sự phân chia nhiệm vụ rõ ràng:
Thu thập (Retrieval): FourA tải về các byte PDF thô mỗi ngày một cách đáng tin cậy.
Đánh giá văn bản (Text evaluation): KORENA kiểm tra tệp để xem có lớp văn bản gốc khả dụng hay không.
Xử lý và trích xuất (Processing and extraction): Nếu PDF là ảnh phẳng, KORENA sẽ rasterize các trang và chạy qua OCR cùng mô hình AI trích xuất tài liệu, áp dụng các gợi ý ngôn ngữ tùy chỉnh và từ điển loài cây để nhận diện thuật ngữ lâm nghiệp địa phương.
Xác thực schema (Schema validation): Dữ liệu đầu ra được xác thực dựa trên cùng một schema chuẩn như mọi nguồn khác.
Sẽ không có bước nào ở trên hoạt động nếu bạn không thể lấy tài liệu về đều đặn mỗi ngày. Đó chính là phần việc mà FourA đảm nhận.
Thu thập so với Phân tích hiểu dữ liệu: Sự phân tách rõ ràng
Nhiệm vụ của FourA là phân phối các byte thô một cách đáng tin cậy. Nó không cần phải hiểu bất cứ điều gì về ngành gỗ. Điều đó cho phép KORENA tập trung 100% nguồn lực vào thế mạnh thực sự của mình: biến dữ liệu hỗn loạn thành một chỉ số chuẩn hóa. Mọi logic đặc thù của ngành đều nằm tại KORENA. HTML được parse cục bộ, PDF kỹ thuật số được đọc bằng pdfjs-dist, và PDF quét được xử lý qua OCR.
Bước chuẩn hóa là nơi các con số thô trở thành chỉ số thị trường. Giá cây đứng không giống giá gỗ xẻ, và kết quả đấu giá địa phương đã bao gồm VAT không thể so sánh trực tiếp với báo giá xuất khẩu chưa có VAT. Để biến các con số thô thành thông tin thị trường có thể so sánh được, KORENA quy đổi tất cả dữ liệu về một chuẩn duy nhất: Euro trên mỗi mét khối, chưa VAT, quy đổi theo điều kiện giao hàng (delivered-equivalent).
Để làm được điều đó một cách chính xác, hệ thống tính toán dựa trên:
- Tỷ giá hối đoái hàng ngày của Ngân hàng Trung ương Châu Âu.
- Quy định VAT riêng của từng quốc gia.
- Các hệ số vận chuyển dựa trên giai đoạn thành phẩm của gỗ.
Chỉ số này cũng tách biệt các phân khúc thị trường khác nhau. Gỗ tròn số lượng lớn, đấu giá gỗ giá trị cao và danh sách bán lẻ xuất hiện dưới dạng các danh mục riêng biệt và không bao giờ bị gộp chung. Một lô đấu giá cao cấp sẽ không làm sai lệch mức giá cơ sở.
Sự phân tách này chính là điểm mấu chốt: FourA giải quyết bài toán truy cập web, KORENA giải quyết bài toán ngành gỗ. Không bên nào trở thành một hộp đen khiến bên kia phải phụ thuộc.
Lý do tính minh bạch giá gỗ đột nhiên trở nên cấp thiết
Các quy định nghiêm ngặt hơn của Châu Âu, bao gồm Quy định về Phá rừng của EU (EUDR), đang thúc đẩy thị trường gỗ hướng tới khả năng truy xuất nguồn gốc toàn diện và hồ sơ chứng minh nguồn cung sạch hơn. Tính minh bạch về giá là nửa còn lại của bài toán đó. Người trồng gỗ so sánh giá trị theo khu vực, người mua xác thực báo giá, và các sàn giao dịch số thiết lập mức giá cơ sở đều cần dữ liệu hàng ngày, theo từng địa phương và có thể so sánh được. Không phải các con số trung bình hàng năm đã lỗi thời. Càng không phải các số liệu đơn lẻ cục bộ.
Để một đội ngũ kỹ thuật tinh gọn gồm hai người có thể bao quát mười quốc gia và hàng trăm định dạng web khó lường, họ không thể lãng phí thời gian quản lý hạ tầng proxy, hệ thống trình duyệt và sửa lỗi cho từng trang web riêng lẻ (xem chi phí ẩn của việc tự duy trì scraper để biết số liệu chi tiết). FourA xử lý tầng request. KORENA có lại thời gian để tập trung vào việc chuẩn hóa loài gỗ, tinh chỉnh OCR, logic định giá và dấu vết kiểm toán, những công việc mà chỉ họ mới có thể thực hiện.
Trước đây, để biết giá gỗ hàng ngày cần phải gọi điện cho môi giới khu vực của bạn. Giờ đây, bất kỳ ai cũng có thể tự vẽ biểu đồ xu hướng tại timber-index.korena.eu. Mười sản phẩm dạng Index tiếp theo sẽ không có thời gian để xây dựng tầng fetch dữ liệu từ đầu. Đó là định hướng mà chúng tôi đang theo đuổi.
Bạn đang xây dựng sản phẩm dựa trên dữ liệu web công khai và mệt mỏi với việc tự duy trì scraper cùng hạ tầng proxy? Bắt đầu với FourA.