# 動的ウェブサイトのスクレイピング

> URL: https://foura.ai/ja/docs/how-to/scrape-dynamic-website
> Updated: 2026-10-15
> Index: https://foura.ai/llms.txt

動的ウェブサイトは、最初のページ読み込み後にJavaScriptを使用してコンテンツを読み込みます。このガイドでは、FourAのブラウザendpointを使用してこれらのサイトからデータを収集する方法を説明します。

## 課題

JavaScriptを多用するウェブサイトに標準のHTTP requestを送信すると、HTMLの骨組みのみが取得され、実際のコンテンツは取得されません。必要なデータ（商品一覧、価格、検索結果など）は、ブラウザでページがレンダリングされた後にJavaScriptによって読み込まれます。

これは、React、Vue、Angular、Next.jsなどの最新フレームワークでますます一般的になっています。

## 解決策: ブラウザリクエスト

FourAのブラウザendpoint（`POST /api/browser/`）は、次の処理を行うChromeブラウザインスタンスでURLを開きます。
1. ページを読み込む
2. すべてのJavaScriptを実行する
3. コンテンツがレンダリングされるのを待つ
4. 完全にレンダリングされたHTMLを返す

## ステップ 1: 必要な要素を特定する

requestを送信する前に、ブラウザで対象のページを開き、DevTools（F12）を使用してコンテンツが読み込まれたことを確認できるテキストまたは要素を見つけます。例:

- JSのレンダリング後に表示される商品名
- レンダリングされたHTML内の`product-grid`などのCSSクラス
- データ読み込み時にのみ表示される"results"などのテキスト文字列

## ステップ 2: ブラウザリクエストを送信する

```bash
curl -X POST https://eu.api.foura.ai/api/browser/ \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
  }'
```

`checkText` オプションは、ページの読み込み完了後に "product-grid" が存在することを確認するよう FourA に指示します。存在しない場合、リクエストは `checkText:product-grid not found` エラーで失敗として返され、失敗したリクエストには課金されません。`checkText` は、テキストの検出待機時間を延長するものではありません。

## ステップ 3: HTML のパース

response の `body` フィールドには、完全にレンダリングされた HTML が含まれます。任意のライブラリを使用してパースしてください。

### Python (BeautifulSoup)

```python
import requests
from bs4 import BeautifulSoup

resp = requests.post("https://eu.api.foura.ai/api/browser/", headers={
    "X-API-Key": "YOUR_API_KEY",
    "Content-Type": "application/json"
}, json={
    "url": "https://example.com/products",
    "timeout_ms": 15000,
    "checkText": "product-grid"
})

html = resp.json()["body"]
soup = BeautifulSoup(html, "html.parser")

for product in soup.select(".product-card"):
    name = product.select_one(".product-name").text.strip()
    price = product.select_one(".product-price").text.strip()
    print(f"{name}: {price}")
```

### Node.js (cheerio)

```javascript
import * as cheerio from 'cheerio';

const resp = await fetch('https://eu.api.foura.ai/api/browser/', {
  method: 'POST',
  headers: { 'X-API-Key': 'YOUR_API_KEY', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    url: 'https://example.com/products',
    timeout_ms: 15000,
    checkText: 'product-grid'
  })
});

const { body: html } = await resp.json();
const $ = cheerio.load(html);

$('.product-card').each((i, el) => {
  console.log($(el).find('.product-name').text(), $(el).find('.product-price').text());
});
```

## トラブルシューティング

**コンテンツが空のままの場合**
- ページが実際にJavaScriptレンダリングを使用しているか確認します（「ソースを表示」とDevToolsを比較）。
- `timeout_ms` を増やします。一部のページは読み込みに時間がかかります。
- ページが認証やcookieを必要としているか確認します（`cookies` パラメータを使用）。

**検証ページが表示される場合**
- 単一/HTTPリクエストの場合は、proxy endpoint（`POST /api/proxy/`）に切り替えて自動IPローテーションを使用します。
- ブラウザリクエストをプロキシ経由でルーティングするには、ブラウザendpointの `proxy` パラメータを渡します。proxy endpointは単一/HTTPリクエストのみをラップし、ブラウザリクエストには対応していません。

`proxy` パラメータには、以前のレスポンスから返された不透明なプロキシIDを指定します。独自プロキシアドレスは指定できません。最初に `POST /api/proxy/`（または `POST /api/auto/`）の呼び出しを1回実行し、返される `proxy` フィールド（Autoの場合は `session.proxy`）を読み取って固定します。

```bash
# Step 1: let FourA find a working exit. The response carries "proxy": "A1B2C3".
curl -X POST "https://eu.api.foura.ai/api/proxy/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"maxTries": 5, "request": {"method": "GET", "url": "https://example.com/products"}}'

# Step 2: render through that same exit.
curl -X POST "https://eu.api.foura.ai/api/browser/" \
  -H "X-API-Key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products", "proxy": "A1B2C3", "timeout_ms": 20000}'
```

IDの代わりにアドレスを送信すると`400 Invalid proxy format`が返されます。完全なパターンは[リクエスト間でのプロキシの再利用](https://foura.ai/docs/how-to/reuse-a-proxy)を参照してください。

## 次のステップ

- [適切なエンドポイントの選択](https://foura.ai/docs/guides/choosing-task-type): browserとsingleの使い分け
- [競合他社の価格監視](https://foura.ai/docs/how-to/monitor-competitor-prices): 価格追跡の完全チュートリアル
- [保護されたサイト](https://foura.ai/docs/guides/protected-sites): 保護されたサイトの処理方法
- [リクエスト間でのプロキシの再利用](https://foura.ai/docs/how-to/reuse-a-proxy): ワークフロー全体で1つのイグジットを固定
