# Скрапинг динамического сайта

> URL: https://foura.ai/ru/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

Динамические сайты загружают контент с помощью JavaScript после начальной загрузки страницы. В этом руководстве показано, как собирать данные с таких сайтов с помощью browser endpoint от FourA.

## Проблема

Когда вы отправляете стандартный HTTP-request на сайт с активным использованием JavaScript, вы получаете каркас HTML, но не сам контент. Нужные вам данные (списки товаров, цены, результаты поиска) загружаются через JavaScript после рендеринга страницы в браузере.

Это типично для современных фреймворков вроде React, Vue, Angular и Next.js.

## Решение: запросы через браузер

Browser endpoint от FourA (`POST /api/browser/`) открывает ваш URL в экземпляре Chrome, который:
1. Загружает страницу
2. Выполняет весь JavaScript
3. Ожидает рендеринга контента
4. Возвращает полностью отрендеренный HTML

## Шаг 1. Определите, что вам нужно

Перед отправкой request откройте целевую страницу в браузере и с помощью DevTools (F12) найдите фрагмент текста или элемент, подтверждающий загрузку контента. Например:

- Название товара, которое появляется после рендеринга JS
- CSS-класс вроде `product-grid` в отрендеренном HTML
- Текстовую строку вроде "results", которая появляется только при загрузке данных

## Шаг 2. Отправьте browser request

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

Параметр `checkText` указывает FourA проверить наличие "product-grid" на странице после завершения ее загрузки. Если элемент отсутствует, request возвращается со статусом ошибки `checkText:product-grid not found`, а неудачные request не тарифицируются. `checkText` не заставляет FourA ждать текст дольше.

## Шаг 3: Распарсите HTML

Response содержит полностью отрендеренный HTML в поле `body`. Распарсите его с помощью подходящей библиотеки:

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## Устранение неполадок

**Все еще получаете пустой контент?**
- Убедитесь, что страница действительно использует JavaScript рендеринг (сравните "View Source" и DevTools)
- Увеличьте `timeout_ms`: некоторые страницы загружаются медленно
- Проверьте, требует ли страница аутентификацию или cookies (используйте параметр `cookies`)

**Появляется страница проверки?**
- Для одиночных/HTTP request переключитесь на proxy endpoint (`POST /api/proxy/`) для автоматической ротации IP.
- Чтобы направить browser request через proxy, передайте параметр `proxy` для browser endpoint. Proxy endpoint обрабатывает только одиночные/HTTP request, но не browser request.

Параметр `proxy` принимает непрозрачный proxy ID, возвращенный предыдущим response, но не собственный proxy адрес. Сначала выполните один вызов `POST /api/proxy/` (или `POST /api/auto/`), прочитайте возвращенное поле `proxy` (`session.proxy` в режиме Auto), затем закрепите его:

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

Отправка адреса вместо ID возвращает `400 Invalid proxy format`. Полный паттерн описан в [Повторное использование proxy в нескольких requests](https://foura.ai/docs/how-to/reuse-a-proxy).

## Следующие шаги

- [Выбор подходящего endpoint](https://foura.ai/docs/guides/choosing-task-type): когда использовать browser, а когда single
- [Мониторинг цен конкурентов](https://foura.ai/docs/how-to/monitor-competitor-prices): полное руководство по отслеживанию цен
- [Защищенные сайты](https://foura.ai/docs/guides/protected-sites): работа с защищенными сайтами
- [Повторное использование proxy в нескольких requests](https://foura.ai/docs/how-to/reuse-a-proxy): фиксация одного выходного узла для всего workflow
