# Скрапване на динамичен сайт

> URL: https://foura.ai/bg/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

Динамичните уебсайтове зареждат съдържание чрез JavaScript след първоначалното зареждане на страницата. Това ръководство показва как да събирате данни от такива сайтове с помощта на browser endpoint на FourA.

## Проблемът

Когато изпратите стандартна HTTP request към уебсайт с интензивно използване на JavaScript, получавате базовата HTML структура, но не и същинското съдържание. Данните, които са ви нужни (списъци с продукти, цени, резултати от търсене), се зареждат от JavaScript след рендиране на страницата в браузър.

Това се среща все по-често при модерни frameworks като React, Vue, Angular и Next.js.

## Решението: Browser заявки

Browser endpoint на FourA (`POST /api/browser/`) отваря вашия URL в Chrome браузър инстанция, която:
1. Зарежда страницата
2. Изпълнява целия JavaScript
3. Изчаква съдържанието да се рендира
4. Връща напълно рендирания HTML

## Стъпка 1: Определете какво ви е необходимо

Преди да направите заявката, отворете целевата страница в браузъра си и използвайте DevTools (F12), за да намерите текст или елемент, който потвърждава, че съдържанието е заредено. Например:

- Име на продукт, което се появява след JS рендирането
- CSS клас като `product-grid` в рендирания HTML
- Текстов низ като "results", който се появява само при зареждане на данните

## Стъпка 2: Изпратете browser заявка

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

Опцията `checkText` указва на FourA да провери дали "product-grid" присъства в страницата след приключване на зареждането. Ако липсва, заявката се връща като неуспешна с `checkText:product-grid not found`, а неуспешните заявки не се таксуват. `checkText` не кара FourA да чака по-дълго за текста.

## Стъпка 3: Парсване на HTML

Отговорът съдържа напълно рендерирания HTML в полето `body`. Парснете го с предпочитаната от вас библиотека:

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## Отстраняване на неизправности

**Все още получавате празно съдържание?**
- Проверете дали страницата наистина използва JavaScript рендериране (сравнете "View Source" с DevTools)
- Увеличете `timeout_ms`: някои страници се зареждат бавно
- Проверете дали страницата изисква удостоверяване или cookies (използвайте параметъра `cookies`)

**Получавате страница за потвърждение?**
- За единични/HTTP заявки преминете към proxy endpoint (`POST /api/proxy/`) за автоматична ротация на IP адреси.
- За да пренасочите браузърна заявка през proxy, подайте параметъра `proxy` на браузърния endpoint. Proxy endpoint обработва само единични/HTTP заявки, но не и браузърни заявки.

Параметърът `proxy` приема непрозрачния proxy ID, върнат от по-ранен отговор, а не ваш собствен proxy адрес. Изпълнете първо едно `POST /api/proxy/` (или `POST /api/auto/`) извикване, прочетете върнатото поле `proxy` (`session.proxy` при Auto) и след това го фиксирайте:

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

Изпращането на адрес вместо ID връща `400 Invalid proxy format`. Пълният модел е описан в [Reuse a Proxy Across Requests](https://foura.ai/docs/how-to/reuse-a-proxy).

## Следващи стъпки

- [Choosing the Right Endpoint](https://foura.ai/docs/guides/choosing-task-type): Кога да използвате browser спрямо single
- [Monitor Competitor Prices](https://foura.ai/docs/how-to/monitor-competitor-prices): Пълно ръководство за следене на цени
- [Protected sites](https://foura.ai/docs/guides/protected-sites): Справяне със защитени сайтове
- [Reuse a Proxy Across Requests](https://foura.ai/docs/how-to/reuse-a-proxy): Фиксиране на един exit proxy за цял workflow
