社内で複数のLLM(大規模言語モデル)を部門横断で提供していて、推論基盤の構成管理に手間がかかっていると感じているなら、参考になる整理があります。GPUを確保するだけのインフラから、トークン(LLMが生成するテキストの最小単位)を安定供給する「サービス」へと発想を切り替える考え方です。
近年のAIインフラ競争は、GPUの保有数を競う段階から、一定のコストでトークンを予測可能に届けられるかという段階に移っています。この「予測可能にトークンを届ける仕組み」を、GPU資源・モデルデプロイ・推論最適化・リソース管理を束ねて一体運用する構成として「Token Factory(トークン工場)」と呼ぶ整理が提案されています。GPUレンタル業者がコンピュート容量を貸すだけだったのに対し、モデルAPIやトークン課金サービスへ踏み出す事業者(neocloudと呼ばれる新興クラウド事業者)は、本番推論の性能と可用性にまで責任を持つ立場に変わりつつあります。
企業の社内AI基盤でも構図は同じです。複数部門・複数アプリケーションがGPUプールを共有するようになると、モデルの迅速な切り替え、アクセス制御、サービス品質、コスト管理を同時に満たす必要が出てきます。GPUスケジューラを1つ導入すれば済む話ではなくなってきます。
何が変わるのか: GPU容量管理からトークン供給の運用管理へ
まず押さえておきたいのは、GPUリソース管理とトークンサービス運用は別のレイヤーの問題だという点です。GPUスケジューラ(Kubernetesのnoderesourcetopologyやvolcano、あるいはSlurmのようなジョブスケジューラ)は「どのPodにどのGPUを割り当てるか」を決めますが、「そのGPU上でどのモデルが、どの応答速度で、どのテナントに応答しているか」までは面倒を見ません。
Token Factoryという整理では、この両方を一体で捉えます。具体的には次の要素が連携します。
- モデルデプロイ: モデルバージョンとGPUリソースの対応付け
- 推論実行: バッチング・キャッシュ・ルーティングによる処理の最適化
- リソース管理: テナントごとの割り当てとクォータ
- アクセス制御・課金: APIゲートウェイでのテナント分離とトークン計測
これらは個別には既存ツールで実現できます。GPUスケジューラ、推論エンジン(vLLMやTensorRT-LLMなど)、APIゲートウェイ、モニタリングシステムはすでに確立された分業です。問題は、モデルを1つ追加する、あるいはテナントを1つ追加するたびに、これらの設定が同期して変わらなければならない点にあります。モデルバージョン、GPU容量、推論インスタンス数、APIエンドポイント、テナント権限、クォータの6つが互いに依存し合っているため、どれか1つを変えると他がずれるリスクが生じます。
評価指標の見直し: スループットだけでは不十分
アーキテクチャの良し悪しを判断するとき、GPU利用率やピークスループット(tokens/s)だけを見ていると、実態を見誤ります。
たとえば、バッチサイズを大きくするとスループットは上がりますが、TTFT(Time To First Token、最初の1トークンが返るまでの時間)が伸びてしまい、対話型アプリケーションのSLO(サービスレベル目標)を超えることがあります。逆に、急なアクセス増に備えてGPUを常に遊休状態で確保しておくと、運用コストが膨らみます。
エージェント型ワークロード(ツール呼び出しや長いコンテキストを繰り返し使うAIエージェントの処理)が増えると、この変動幅はさらに大きくなります。同じGPUプールでも、モデルの特性・同時実行数・リクエストパターン次第でトークンスループットとレイテンシが大きく揺れます。
したがって、設計判断として見るべき指標は「SLO内で達成できたトークンスループット」対「それを維持するのに必要なコンピュート容量とコスト」という組み合わせです。単一指標ではなく、性能とコストのトレードオフを常にペアで評価する姿勢が必要になります。
既存技術との比較: どこに新しい複雑さがあるか
Kubernetesでのマイクロサービス運用に慣れているエンジニアなら、「サービスメッシュやオートスケーリングで似たようなことをやっている」と感じるかもしれません。実際、Horizontal Pod Autoscalerやistioのトラフィック管理と発想は近い部分があります。
違いは、LLM推論特有のボトルネックが複数層にまたがる点です。TTFTの悪化は、リクエストのキューイング、prefill(入力文脈の処理フェーズ)の負荷、KVキャッシュ(過去の計算結果を再利用する仕組み)のミス、あるいは単純なGPU容量不足のいずれが原因かもしれません。
キャッシュを意識したルーティングは無駄な再計算を減らせますが、キャッシュが一致するインスタンスへリクエストを寄せる分、キューイング遅延が増える可能性があります。prefillとdecode(トークンを1つずつ生成するフェーズ)を別々のリソースに分離する「disaggregation」という手法も注目されていますが、効果はキャパシティのバランス調整とキャッシュ転送のオーバーヘッド次第で変わります。
つまり、1つのパラメータ調整が別の指標を悪化させるというトレードオフの連鎖が、通常のWebサービスのスケーリングより複雑です。この連鎖を可視化できていないと、「スループットは上がったのにユーザー体感は悪化した」という事態が起こります。
今日確認できること
自社のLLM基盤がこの課題に該当するかどうかは、次の観点で確認できます。
- モデルを1つ追加・更新するとき、GPU割り当て・APIエンドポイント・テナント権限・クォータの変更が何カ所の設定ファイルやダッシュボードにまたがっているか
- TTFTとスループットを別々のダッシュボードで見ていて、SLO違反の原因(キューイングかprefillかキャッシュミスかGPU不足か)を即座に切り分けられるか
- GPU利用率は高いのに、特定テナントのレイテンシSLOだけ違反が続く、といった「利用率と体感品質の乖離」が起きていないか
- 需要の急増(エージェント型の長時間セッションなど)が来たとき、遊休GPUを事前に確保しているか、それともスケールアウトで対応しているか、そのコスト差を把握しているか
これらの設定がツールごとにサイロ化している場合、推論エンジンのメトリクス(vLLMならprometheus_exporterの出力など)、GPUスケジューラのリソース割り当てログ、APIゲートウェイのアクセスログを突き合わせる運用から始めるのが現実的です。各レイヤーのログに共通のテナントID・リクエストIDを埋め込んでおくと、TTFT悪化の原因切り分けが格段にやりやすくなります。
既存の推論エンジンやAPIゲートウェイに乗り換えが必要なわけではありません。まずは、モデルデプロイ・推論実行・リソース管理・アクセス制御の4つのレイヤーで、今どの設定が手作業で同期されているかを棚卸しすることが、技術的負債を可視化する第一歩になります。
まとめ
GPUインフラの運用は、容量確保の問題からトークン供給サービスの品質保証の問題へと重心が移っています。
評価指標はGPU利用率やピークスループット単体ではなく、SLO内で達成したトークンスループットとそのためのコストをペアで見る必要があります。
モデル追加・テナント追加のたびに複数ツールの設定を手作業で同期している場合、それは技術的負債として蓄積していきます。まずは自社のモデルデプロイフローで、何カ所の設定が連動して変わるのかを棚卸しすることから始めてみてください。