През март 2026 г. органите за защита на потребителите от 23 държави от ЕС плюс Исландия и Норвегия публикуваха своята проверка на разпродажбите за Black Friday и Cyber Monday: 30% от проверените 314 онлайн магазина са реферирали отстъпките некоректно. Правилото, което тези магазини са нарушили, се побира в едно изречение. За проверката му са нужни данни, чието събиране е трябвало да започне месец преди разпродажбата.
Предизвикателството
Съгласно Директивата за обозначаване на цените на ЕС, магазин, който обявява намаление, трябва да посочи като референтна най-ниската цена, която е прилагал през предходните 30 дни. Директивата Омнибус добави това правило през 2019 г., а магазините са длъжни да го спазват от 2022 г. Тази година Black Friday се пада на 27 ноември, така че прозорецът, който определя дали старата цена за Black Friday е коректна, започна на 28 октомври. Тракер, който се стартира при появата на банерите, закъснява с цял месец.
Собственият мониторинг на Комисията, изграден с Apify, обхвана 16 000 продукта в 176 магазина за кампанията около Black Friday през 2022 г. и до октомври 2025 г. помогна за проверката на 136 931 продукта от 1 556 търговци. Той събираше цените по време на разпродажбата и 30 дни преди нея, като запазваше екранна снимка на всяка страница като доказателство. Oxylabs пусна американска версия през 2024 г.: тя проследяваше 61 172 продукта на всеки час от 13 август, като само 4 529 от тях бяха едновременно с намаление на Black Friday и налични през 90-те дни, изисквани от методологията. Списъците с продукти се сменят по-бързо, отколкото повечето хора очакват.
Трудната част обаче не е мащабът. Това е статистиката.
Референтната цена е минимум, а минимумът се определя от едно-единствено наблюдение. Средната стойност пренебрегва един грешен ден; минимумът е точно този ден. Ето защо и двете грешки при скрапване променят крайния резултат:
- Пропуснат ден скрива най-ниската цена. Страницата връща challenge screen, екран за съгласие или timeout точно в деня, в който цената е паднала. Вашият минимум се оказва по-висок от реалния и фалшивото намаление се приема за истинско.
- Грешно разчетена цена измисля несъществуващ минимум. Вашият parser взима начална цена ("от"), цена за лоялни клиенти, друг вариант или аксесоар от въртележката. Вашият минимум се оказва по-нисък от реалния и коректно намаление се маркира като фалшиво.
Сривовете могат да бъдат кратки. В своето проучване за Black Friday през 2025 г. Which? проследи 175 продукта при осем търговеца в Обединеното кралство в продължение на една година: 83% бяха на същата цена или по-евтини поне веднъж извън четириседмичната разпродажба, а един следен телевизор за кратко падна от £1039 на £999 в деня след Black Friday. (Обединеното кралство има собствени правила, но за един скрапер еднодневният спад изглежда по същия начин.)
За сайт за оферти първата грешка струва доверие. За регулатор, потребителска организация или медия втората означава да обвиниш търговец в нещо, което не е направил.
Подходът: празнината остава празнина
Нужен ви е слой за събиране, който никога не превръща неуспешното извличане в число, и изчисление, което отказва да даде заключение за интервал с липсващи данни. Разгледахме как неуспешното извличане се превръща във фалшив сигнал в Алтернативни данни: когато блокирането изглежда като точка от данни; 30-дневният минимум е най-безпощадният вариант на този проблем.
С платформа като FourA отделните компоненти са малко:
- Потвърдете страницата, преди да я прочетете.
validateприема низ, който присъства само на правилната продуктова страница, например самия артикулен номер на продукта. Страница с верификация (challenge page), страница за ненамерен продукт или екран за съгласие се връщат като неуспешно повикване, което не се таксува, защото вашето правило определя какво се счита за успех. Вашият ред получава празнина, а не цена. - Пазете доказателството. Отговорите носят
X-FourA-Request-Id. Запишете го заедно с цената, времевия маркер и чистия HTML. Нашият Activity лог пази визуализации на заявките само 24 часа, така че архивът с доказателства трябва да бъде при вас. - Изберете endpoint според магазина. Single обработва продуктови страници със сървърен рендеринг. Browser е за магазини, които генерират цената с JavaScript. Proxy Finder с
exitCountries(когато планът ви включва таргетиране по държава) покрива магазини, чиято цена зависи от държавата на посетителя, което е близък вариант на проблема, срещнат при цените на хранителни стоки на ниво физически магазин.
import datetime as dt
import requests
API = "https://eu.api.foura.ai/api/single/"
HEADERS = {"X-API-Key": "pk_live_..."}
def observe(product, parse_price):
"""One observation. A failed fetch is a gap, never a price."""
r = requests.post(API, headers=HEADERS, json={
"method": "GET",
"url": product["url"],
"validate": {
"status": {"accept": [200]},
"data": {"accept": [product["article_no"]]},
},
})
body = r.json()
row = {"day": dt.date.today(), "url": product["url"], "price": None,
"request_id": r.headers.get("X-FourA-Request-Id")}
if r.status_code == 200 and not body.get("error"):
row["price"] = parse_price(body["data"]) # None when it isn't sure
row["html"] = body["data"] # the evidence
return row
def prior_price(rows, sale_day, days=30):
start = sale_day - dt.timedelta(days=days)
priced = [x for x in rows
if start <= x["day"] < sale_day and x["price"] is not None]
if len({x["day"] for x in priced}) < days:
return None # a missing day can hide the lowest price
return min(x["price"] for x in priced)
prior_price връщането на None е най-полезният ред във файла. Отстъпка, която не може да бъде потвърдена, отива в списък "no verdict" с посочени липсващите дни. Предпочитаме да предадем отчет с такъв списък, отколкото такъв, който е уверено грешен.
Още две решения трябва да се вземат преди разпродажбата, а не по време на нея. Първо, взимайте проби повече от веднъж на ден за категории с бързо променящи се цени; Oxylabs проверяваха на всеки час с основателна причина. Второ, събирайте данни за период, по-дълъг от 30 дни. Правилото изисква поглед точно толкова назад, така че цена, вдигната точно преди отварянето на прозореца и задържана до намалението, остава невидима за него. Дали това е подвеждащо е въпрос за Директивата за нелоялните търговски практики и за юрист. Дали можете да докажете, че се е случило, е въпрос на данни, а на него отговаря само по-дълга история.
Резултати
Примерен сценарий, базиран на горната конфигурация: потребителска организация проверява 2000 продукта в 40 магазина в три държави, два пъти на ден, от 1 октомври до Cyber Monday.
- 244 000 наблюдения, всяко записано със своето request id и сурова страница.
- Нула страници с предизвикателства в колоната за цени. Всеки ред или е преминал проверката за валиден продукт, или представлява отчетлива празнина.
- Три заключения, а не две. Една отстъпка е нарушение, съответстваща или с "no verdict", като третият вариант изброява дните, които липсват.
- Приложени доказателства. Всяка маркирана оферта се предоставя с времеви печати и страниците, стоящи зад нейния 30-дневен минимум.
- Увеличенията преди прозореца са видими. Осем седмици история показват цена, която се е повишила точно преди 28 октомври и е "паднала" на 27 ноември.
- Безплатни празнини. Отхвърлена заявка не се таксува, така че повторен опит в същия ден струва само успешната заявка.
Основен извод
Повечето процеси за scraping са изградени така, че да са правилни средностатистически, а средните стойности прощават грешки. Правилото за 30-те дни изисква точно това число, в което един пайплайн се справя най-зле: екстремната стойност. Една измислена ниска стойност или един пропуснат спад и крайното заключение се променя напълно.
Затова летвата пред инструмент за проверка на отстъпки не е "предимно правилен". Тя е "никога да не си измисля минимална цена, никога да не изпуска такава и ясно да посочва, когато не може да определи". Прозорецът за януарските разпродажби започва преди Коледа, което означава, че таймерът за следващото заключение вече тече.