← Всички публикации

Скрапване на цени на хранителни стоки: Кой магазин, кой купувач?

Скрапването на цени в супермаркети се проваля тихо: изгубена cookie за магазин връща реална цена за грешния обект. Как да валидирате магазина и защо един профил на купувач не е достатъчен.

Една дузина яйца Lucerne в един магазин на Safeway във Вашингтон се предлагаше в Instacart на цени $3.99, $4.28, $4.59, $4.69 и $4.79. Един и същ магазин, един и същ момент, различни купувачи. Коя от тези пет стойности принадлежи към вашия ценови панел?

Предизвикателството

При хранителните стоки ценовото разузнаване спира да бъде просто "изтегли страницата на продукта, парсирай цената". Цената на хранителните стоки принадлежи на конкретен магазин, често на зона за доставка, а все по-често и на конкретния потребител, който я разглежда.

Започнете с магазина. Ръководството на Scrapfly за сравнение на цени на хранителни стоки показва галон мляко за $3.98 в един Walmart и за $4.29 в друг на 20 мили разстояние. То предупреждава, че сесия без локация на магазин получава данни по подразбиране, които може да не съответстват на нито един реален обект. Ръководството на ScrapeInsight за доставка на хранителни стоки за 2026 г. отчита същото ниво по-надолу: $3.99 в една зона за доставка и $4.49 на няколко мили от нея. Казусът на Bright Data за ShopGrok описва как ценообразуването на дребно в Австралия става зависимо от пощенския код през почти четирите години дейност на компанията.

След това идва купувачът. През декември 2025 г. Groundwork Collaborative, Consumer Reports и More Perfect Union провеждат тестове в реално време с 437 купувачи в четири града, пълнейки идентични колички в Instacart от едни и същи магазини по едно и също време. 74% от артикулите се появяват на повече от една цена. Там, където цените се различават, разликата между най-ниската и най-високата е средно 13%, а целите потребителски кошници варират с около 7%.

Съберете всичко това и ще получите грешката, която прави данните за хранителни стоки скъпи. Ако загубите контекста на магазина, нищо не се чупи. Сайтът не връща грешка. Той връща напълно валидна цена за магазин, който не сте поискали, със SKU, числова стойност и времеви маркер, които преминават всяка проверка за null стойности.

Вече писахме за сценария, при който блокирането изглежда като точка с данни. Този случай се улавя по-трудно, защото страницата наистина е ценова страница. Просто не е вашата.

Докажете магазина вътре в отговора

Повечето сборници на данни изпращат избора на магазин (cookie, query параметър, header) и му се доверяват. По-надеждният навик е да накарате самия response да го докаже. Ако страницата посочва магазина, за който е визуализирана, например ID на магазина във вградените данни или име на магазина в банера за вземане на място, този маркер се превръща във вашето определение за успех. Във FourA това става с едно извикване на Proxy Finder:

import requests

r = requests.post(
    "https://api.foura.ai/api/proxy",
    headers={"X-API-Key": "pk_live_..."},
    json={
        "maxTries": 6,
        "request": {
            "method": "GET",
            "url": "https://grocer.example/product/0001234",
            "headers": [["Cookie", "store=1234"]],
            "validate": {
                "status": {"accept": [200]},
                "data": {
                    "accept": ["\"storeId\":\"1234\""],
                    "fail": ["Just a moment", "Access Denied"]
                }
            }
        }
    }
).json()

if "error" in r:
    report = r.get("attemptReport", {})
    print(report.get("summary", r["error"]))
    if report.get("contentRejected", 0) > report.get("defense", 0) + report.get("noResponse", 0):
        print("the site answered for another store: check the store selection")
else:
    page, exit_id = r["data"], r["proxy"]

Три детайла в тази заявка лесно могат да се объркат.

accept преминава успешно, когато който и да е от неговите низове се появи в страницата. Поставете маркер за цена до маркера за магазин и страница за грешен магазин ще премине проверка, защото тя също съдържа цена. Дръжте маркера за магазин самостоятелно в accept и поставете низовете за проверка в fail.

Вашият собствен хедър Cookie променя поведението при повторни опити. Когато сайт откаже браузъра, който сме представили, Proxy Finder обикновено преминава към друго семейство браузъри при следващия опит. Не и с прикачена ваша бисквитка. Сесията е обвързана със сигнатурата, която я е заслужила, така че заявка, носеща собствена бисквитка, запазва браузъра, с който е започнала. Ако сайтът на дадена верига се окаже придирчив към браузърите, изберете такъв изрично с браузърни профили, вместо да разчитате на ротация.

А неуспешната задача ви показва точно какъв проблем имате. Всеки неуспешен отговор от Proxy Finder носи attemptReport. defense брои отговорите, при които е разпозната проверка за ботове, noResponse брои изходните точки, които изобщо не са достигнали сайта, а contentRejected брои страниците, върнати като HTTP 200 без проверка за ботове и отхвърлени единствено от вашето правило за съдържание. За колектор на данни от хранителни магазини това последно преброяване означава нещо конкретно: сайтът е отговорил, но не за вашия магазин. Още изходни точки няма да поправят това. Ръководството за доклад за опитите покрива останалите бройки.

Фиксирайте купувача или измерете разсейването

Констатациите за Instacart добавят втора променлива и има два коректни начина за справяне с нея.

За панел за сравнение на цени поддържайте събирането на данни за всеки магазин с една самоличност. Изпълнете повторно изходната точка, която е доставила резултат (r["proxy"], непрозрачен идентификатор), през Single със същата бисквитка и запазете този идентификатор заедно с хедъра на отговора X-FourA-Request-Id към всеки ред. Когато цената скочи, можете да различите промяна в магазина от промяна в сесията.

За изследване на ценообразуването направете нарочно обратното. Вземете извадка за един и същ SKU в същия магазин през няколко независими сесии и запазете разпределението, а не първия отговор. Панел, който отчита едно число там, където купувачите виждат пет, не е прецизен. Той е просто късметлия.

Резултати

Вземете регионална верига, сравняваща 120 магазина на конкуренти за 2500 SKU с ежедневно обновяване (илюстративен сценарий, базиран на индустриални бенчмаркове). Това са 300 000 четения на страници на ден и във всяка отделна нощ част от тях ще се върнат за грешен магазин: форматът на бисквитките се е променил, магазин е затворил, сайтът е започнал да предпочита локацията по IP пред бисквитката.

  • Страниците с грешен магазин отпадат още при събирането. Те никога не стават редове, така че промяната на цена в извадката е реална промяна за съответния магазин.
  • Грешките идват сортирани. Висок contentRejected отива при отговорника за избор на магазин, висок defense е проблем с достъпа, висок noResponse е проблем с изходните точки. Трима отговорници, три решения и никой не губи половин ден в гадаене къде е проблемът.
  • Всеки ред е проследим. Наличието на exit ID и request ID за всяко наблюдение превръща въпроса "реална ли е тази аномалия?" в обикновена справка.
  • Разсейването се превръща в конкретна стойност. За артикулите, които следите в различни сесии, можете да отчитате реалния диапазон, с който се сблъскват купувачите, вместо само единична стойност от него.

Къде са ограниченията: цените за лоялни клиенти и членове изискват профил, а експериментите, насочени към вписан потребител, изобщо няма да се появят в анонимни сесии. Извличането им е въпрос на общи условия, преди да бъде инженерен проблем. Маркерът за магазин е надежден само колкото е надежден изборът ви за него. Взимайте го от изходния код на страницата, а не по памет, и го проверявайте отново при всеки редизайн на веригата.

Основен извод

Цената на хранителните стоки преди беше факт за самия продукт. Сега тя е факт за продукта, магазина и конкретния купувач, а скрапер, който записва само първото, генерира просто добре форматиран шум.

Ако персонализираното ценообразуване продължи да се налага, въпросът на купувачите към данните за хранителни стоки се променя от "колко струва това?" на "колко струва тук и какъв е диапазонът?". Затова надеждните инструменти за събиране на данни няма да са тези с най-много изходни точки. Това ще са тези, при които всяка заявка показва за кой магазин е била предназначена и може да го докаже.