オレンジ色のケーブルが接続されたパッチパネル
ニュース深掘り

LLMスクレイピング移行で起きるトークン爆発、原因と対策

目次を見る

CSSセレクタ(div.product-cardのようなCSS構造を指定する記法)やXPath(HTML文書内の要素を経路で指定する記法)を使ったスクレイパーを保守しているエンジニアに向けた内容です。サイトのリニューアルでセレクタが壊れるたびに修正していて疲れている方の参考になれば幸いです。

近年、LLM(大規模言語モデル)にHTMLを読ませて構造化データを抽出する手法が注目されています。しかしこの移行には見落としがちな落とし穴があります。生のHTMLをそのままAPIに投げてしまい、トークン消費とコストが想定の何倍にも膨れ上がる問題です。

何が起きるか

ECサイトの商品ページ1枚には、しばしば5万トークンを超えるHTMLが含まれます。
そのうち9割は、インラインCSS・Googleタグマネージャーのスクリプト・SVGアイコンのパス・トラッキング用ピクセルといった、商品データと無関係な情報です。

セレクタ方式のスクレイパーであれば、これらのノイズは単に無視されるだけで実害はありませんでした。
ところがLLMにHTML全体を渡す方式に切り替えると、ノイズも含めて全文がトークンとして課金対象になります。

結果として、1ページあたりのAPI呼び出しコストが跳ね上がり、大量ページを巡回するバッチ処理では請求額が予算を大幅に超えるケースが起こり得ます。
さらにコンテキストウィンドウ(モデルが一度に処理できるトークンの上限)を超過し、抽出そのものが失敗する事態も発生します。

なぜ起きるか

原因は段階的に分解すると見えてきます。

第一に、HTMLドキュメント自体が「表示のための情報」と「意味のための情報」を混在させて保持している点です。
<style>タグや<script>タグは画面の見た目や挙動を制御するだけで、商品名や価格といった意味的な情報は持っていません。

第二に、Playwright(ヘッドレスブラウザを自動操作するツール)でページを描画すると、クライアント側JavaScriptの実行結果まで含めてDOM(Document Object Model、ブラウザ内のHTML構造)が肥大化する点です。
TailwindやCSS Modulesのようなユーティリティ指向のスタイリング手法は、クラス名の文字数自体を増やす傾向があり、ノイズ量をさらに押し上げます。

第三に、多くの開発者が「どうせモデルは賢いので全部渡せば解釈してくれるはず」という前提でパイプラインを組んでしまう点です。
この前提自体は誤りではありませんが、コスト効率を度外視した設計になりがちです。

自分のプロジェクトが該当するか確認する

既存のスクレイピング処理をLLM方式に移行しようとしている、あるいはすでに移行済みの場合は、次の点を確認してみてください。

  • 取得したHTMLの生サイズを .length やバイト数で確認し、1ページあたり数十KB〜数MBに達していないか
  • LLM APIに渡す直前のペイロードに <script> <style> <svg> <iframe> <noscript> タグが残っていないか
  • APIプロバイダの利用ダッシュボードで、1リクエストあたりの入力トークン数が想定より大きくなっていないか
  • Playwrightの取得範囲が document.documentElement.outerHTML のようにページ全体を指していないか

特に最後の項目は見落としやすいポイントです。
mainやarticle、#product-detailsといった主要コンテンツのコンテナを指定せず、<html>全体を取得していないか、スクレイピングコードを見直してみてください。

対策の手順

対策は大きく3段階に分けられます。

1. 非意味タグの除去

Cheerio(サーバーサイドでHTMLをjQueryライクに操作できる軽量パーサー)などを使い、LLMに渡す前に不要なタグを取り除きます。

import * as cheerio from "cheerio";

const $ = cheerio.load(rawHtml);
$("script, style, svg, noscript, meta, iframe").remove();
const cleanedHtml = $("main, article, #product-details").first().html() ?? $.html();

この一手間だけで、ペイロードサイズを85〜95%削減できるとされています。
画像のbase64データや広告用iframeも同様に除去対象です。

2. Markdownへの変換

除去後のDOMをさらにMarkdownへ変換すると、見出し(h1〜h3)・リスト(ul/ol)・表(table)といった意味的な階層構造を保ったまま、冗長なdivやspanのラッパーを削ぎ落とせます。
構造を保持しつつ文字数を圧縮できるため、トークン単価が高いモデルほど効果が大きくなります。

3. 対象コンテナの絞り込み

Playwrightで取得する範囲自体を、ページ全体ではなく主要コンテナに限定します。

const container = await page.locator("#product-details").first();
const innerHtml = await container.innerHTML();

この3段階を組み合わせることで、スキーマ制約付き抽出(Zodスキーマなどで出力形式を固定する手法)に渡す入力を最小限に保てます。
スキーマ制約自体は出力の型安全性を担保する仕組みであり、入力側のトークン削減とは別の対策である点も押さえておくとよいでしょう。

判断基準の整理

既存のセレクタ方式とLLM方式のどちらを選ぶかは、サイトの変更頻度とコスト許容度で判断できます。

観点セレクタ方式LLM構造化抽出
DOM変更への耐性低い(クラス名変更で即壊れる)高い(意味構造を読むため影響を受けにくい)
実行コストほぼゼロAPI課金、未対策だとトークン消費が大きい
保守工数サイト更新のたびに修正が必要前処理さえ整えば保守頻度は下がる
向いている対象更新が少ない社内システムなど頻繁にリニューアルされる外部ECサイトなど
LLMスクレイピングの価値は「壊れにくさ」にありますが、前処理を省くとコストで壊れます。

まとめ

LLMによる構造化データ抽出は、DOM変更に強いという利点がある一方で、生HTMLをそのまま渡すとトークン消費が爆発するという裏の顔があります。

  • まずは既存パイプラインのペイロードサイズと入力トークン数を確認する
  • Cheerioなどで非意味タグを除去し、必要なら主要コンテナに絞り込む
  • 可能であればMarkdown変換を挟み、構造を保ったまま軽量化する

この3点を押さえるだけで、同じ抽出精度をより低いコストで維持できる可能性があります。
既存のスクレイピングコードに手を入れる前に、一度ペイロードのバイト数をログ出力して確認してみてください。

参考

Web Scraping with LLM Structured Data Extraction

AI 駆動開発のご相談は forva AI へ。

まずはお気軽にどうぞ。