Price Intelligence ist das Rückgrat im umkämpften E-Commerce. Unternehmen, die Konkurrenzpreise in Echtzeit tracken, können ihr eigenes Pricing dynamisch anpassen, Margen schützen und Marktanteile gewinnen. Aber ein System zu bauen, das täglich zuverlässig 10.000 Produktseiten überwacht, ist eine ernsthafte Engineering-Herausforderung.
Dieser Beitrag zeigt, wie eine typische Price-Intelligence-Operation funktioniert, welche technischen Hürden bestehen und wie Data-Collection-APIs wie FourA den Infrastruktur-Layer vereinfachen.
Das Ausmaß des Problems
Eine mittelgroße Price-Intelligence-Firma trackt typischerweise:
- 10.000 SKUs auf 50 Konkurrenz-Websites
- 3 Preis-Checks pro SKU pro Tag (Morgens, Nachmittags, Abends)
- Das sind täglich 30.000 Page-Fetches über Websites mit unterschiedlichen Layouts, Schutzsystemen und Rendering-Anforderungen hinweg.
Bei dieser Skalierung kannst du dir keine manuelle Wartung leisten. Jeder kaputte Selektor, jede blockierte IP oder jedes Site-Redesign kostet Stunden an Engineering-Zeit und Lücken in deinen Daten.
Architektur
1. Produktkatalog
Das System startet mit einem strukturierten Katalog: SKU-Identifier, die auf Konkurrenz-URLs und CSS-Selektoren für Preiselemente gemappt sind.
{
"sku": "LAPTOP-X1-16GB",
"targets": [
{"site": "competitor-a.com", "url": "https://competitor-a.com/laptop-x1", "selector": ".price-current", "type": "single"},
{"site": "competitor-b.com", "url": "https://competitor-b.com/products/12345", "selector": "[data-price]", "type": "browser"},
{"site": "competitor-c.com", "url": "https://competitor-c.com/item/laptop-x1", "selector": ".product-price", "type": "proxy"}
]
}
Beachte die unterschiedlichen Task-Typen pro Ziel. Jede Website hat andere Eigenschaften.
2. Collection Pipeline
Ein Scheduler verteilt Collection-Jobs in Batches. Jeder Job ruft die FourA API auf:
import requests
import time
def collect_price(target):
resp = requests.post("https://eu.api.foura.ai/api/v1/tasks", headers={
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json"
}, json={
"url": target["url"],
"type": target["type"],
"options": {"waitFor": target["selector"]} if target["type"] == "browser" else {}
})
return resp.json()
Die wichtigste Erkenntnis: FourA übernimmt Proxy-Rotation, TLS-Fingerprinting, Browser-Rendering und Retry-Logik. Die Collection-Pipeline muss nur URLs senden und Responses parsen.
3. Preisextraktion und Normalisierung
Roh-HTML durchläuft einen Parser, der den Preiswert extrahiert, die Währung normalisiert und Edge Cases (Angebotspreise, "Ab"-Bereiche, Out-of-Stock-Indikatoren) behandelt.
4. Change Detection und Alerts
Jeder neue Preis wird mit dem vorherigen Wert verglichen. Signifikante Änderungen (typischerweise ab einem Schwellenwert von 2-5%) lösen Alerts an Analysten oder automatisierte Repricing-Systeme aus.
Zentrale Herausforderungen
Site-spezifische Komplexität: Jede Konkurrenz-Website hat ein einzigartiges Layout, Schutzniveau und Rendering-Verhalten. Ein One-Size-Fits-All-Ansatz scheitert schnell.
Data Freshness: Veraltete Preise sind schlimmer als keine Preise. Das System muss seine tägliche Collection innerhalb des Zeitfensters abschließen. Das bedeutet, Ausfälle und Retries effizient zu handhaben.
Kostenmanagement: Bei 30.000 Requests pro Tag summieren sich die Infrastrukturkosten. Den richtigen Task-Typ für jedes Ziel zu verwenden (single wenn möglich, browser nur wenn nötig), reduziert die Kosten signifikant.
Warum APIs besser sind als DIY
Eine Firma, die dies In-House baut, müsste Proxy-Pools, Browser-Farms und Anti-Detection-Code für jede Ziel-Website warten. Dieser Infrastruktur-Overhead ist der wahre Kostentreiber. Es ist nicht die Engineering-Zeit für den initialen Scraper, sondern die laufende Wartung, um ihn am Laufen zu halten.
Data-Collection-APIs wie FourA fangen diese Komplexität ab. Das Unternehmen fokussiert sich auf das, was es wirklich differenziert (Produktkatalog, Pricing-Algorithmen, Kundenbeziehungen), anstatt Chrome aktuell zu halten.
Die Firmen, die bei Price Intelligence vorne liegen, sind nicht die mit den größten Scraping-Teams. Es sind die, die aufgehört haben, Infrastruktur zu bauen, und angefangen haben, bessere Pricing-Modelle zu entwickeln. Dort liegt der echte Wettbewerbsvorteil.
Erfahre mehr im How-To Guide und in der API Reference.