金色の配線パターンが広がる基板の接写
現場の実践

vLLMをvGPU環境で動かすと起動失敗する落とし穴と対策(vLLM v0.28.0)

目次を見る

社内のオンプレ基盤やプライベートクラウドで、GPUをKubernetesノードに直接パススルーせず、VMware vSphere上のNVIDIA vGPU(1枚の物理GPUを仮想的に分割して複数VMに割り当てる仕組み)経由でLLM推論基盤を構築している、というインフラ担当者は少なくありません。コスト効率を優先してGPUを共有リソース化する判断は、エンタープライズのIT部門ではよくある構成です。ところがこの構成でvLLM(大規模言語モデルの推論を高速化するサーバーソフトウェア)を動かそうとすると、物理GPUパススルー環境では起きない特有の落とし穴にはまります。

この記事では、vLLM(検証バージョンはv0.28.0)をNVIDIA vGPU上で動かす際に起きる起動失敗・パフォーマンス劣化・メモリ不足という3つの事象を、原因から対策まで整理します。すでに動いている基盤の保守担当者も、これから構築する担当者も、設定ファイルの数値を見直すきっかけにしてもらえればと思います。

何が起きるか:起動失敗・速度低下・コンテキスト長の制約

最初に直面しやすいのは、モデルサイズに対してGPUメモリが十分あるはずなのに、vLLMが起動すらしない事象です。たとえば24GB程度のモデルを40GBのGPUに載せようとしても、起動チェックで弾かれるケースがあります。

次に起きやすいのが、起動はできたもののパフォーマンスが大きく落ちる事象です。CUDAグラフ(GPUカーネルの実行手順を事前に記録し、呼び出しオーバーヘッドを減らす最適化機能)を無効化する設定を使うと、スループットが大幅に低下します。

最後に、長いコンテキスト(モデルに一度に入力できるトークン数の上限)を扱おうとすると、KVキャッシュ(推論中に各トークンの計算結果を保持する領域)がメモリを圧迫し、希望するコンテキスト長が確保できない事象が起きます。

なぜ起きるか:原因を段階的に分解する

原因1:vGPUはnvidia-smiの表示通りにメモリを使わせてくれない

vGPUは物理GPUのメモリの一部を、ハイパーバイザー管理用に予約します。nvidia-smiでmemory.totalを見ると40960MiB(約40GB)と表示されても、実際に空いているのはそこから予約分を引いた量です。

検証環境ではGRID A100D-40Cプロファイル(A100の半分、40GBメモリを割り当てるvGPUプロファイル)で、約3093MiBが予約済みとなり、実際に自由に使えるのは約37867MiBでした。

vLLMは起動時に、空きメモリと--gpu-memory-utilization(GPUメモリの何割を使うかを指定するフラグ)× 総メモリ量を比較するチェックを行います。この比較が物理GPUの前提で書かれているため、vGPUの予約分を考慮せずに数値を設定すると、起動時点で弾かれます。

原因2:PyTorchの定番トラブルシュートがvGPUでは通用しない

GPUメモリ不足のエラーが出ると、PyTorch自体がPYTORCH_CUDA_ALLOC_CONF=expandable_segments:Trueという環境変数の設定を提案してくることがあります。これはメモリ確保の方式をより柔軟にするオプションです。

ところがこの機能はcuMemCreateやcuMemMapといったCUDAの仮想メモリ管理API(GPUメモリを動的に確保・マッピングする低レベルAPI)に依存しており、vGPU環境ではこのAPI自体が実装されていません。結果として「operation not supported」という、メモリ不足とは無関係に見えるエラーでクラッシュします。

エラーメッセージからは原因が読み取りにくく、調査に時間を取られやすいポイントです。

原因3:起動トラブル対策の定番フラグが性能を大きく落とす

vLLMの起動がうまくいかないとき、GitHubのIssueなどでよく勧められるのが--enforce-eagerというフラグです。これはCUDAグラフを無効化し、メモリ使用量と起動時間を抑える代わりに、カーネル呼び出しのたびにオーバーヘッドが発生する設定です。

検証では、このフラグを有効にした場合と無効(デフォルト、CUDAグラフ使用)の場合で、単一ストリームのトークン生成速度が次のように変化しました。

モード生成速度(tok/s)倍率
--enforce-eager 有効10.9基準
CUDAグラフ使用(デフォルト)52.2約4.8倍

差は約4.8倍にもなります。検証対象のモデル(Qwen3.8-27B、ハイブリッドアーキテクチャで4層に1層だけがフルアテンション、残りは線形・Mamba系レイヤー)は小さなGPUカーネル呼び出しが多い構造のため、カーネル呼び出しのオーバーヘッドが積み上がりやすく、vGPU環境ではその影響がさらに大きくなると見られています。

原因4:長いコンテキストを確保するとKVキャッシュが先に尽きる

コンテキスト長は、実行中の全リクエストのトークンごとにKVキャッシュを保持する必要があるため、モデル重みとCUDAグラフ分を引いた残りのメモリで決まります。40GBのGPUでは、この残り分は数GB程度しかないケースもあります。

ここで効くのが--kv-cache-dtype fp8という設定です。KVキャッシュのデータ型をbf16(16ビット浮動小数点)からfp8(8ビット浮動小数点)に変えることで、トークンあたりのメモリ使用量が半分になります。

検証では、bf16だと約12万トークンまでしか収まらず、250kトークンのコンテキストは実現不可能でした。fp8に変えると約28.6万トークンまで収まり、余裕を持って250kコンテキストが実現できています。

ただし、fp8のKVキャッシュは非可逆圧縮(情報の一部が失われる圧縮)であり、モデルのチェックポイントにKVスケール(量子化の精度を調整する係数)が同梱されていない場合、vLLMが起動時に警告を出す点には注意が必要です。

自分のプロジェクトが該当するか確認する方法

対策に入る前に、まず自分の環境がこの落とし穴の対象かどうかを確認します。

# vGPUのメモリ予約量を確認する
nvidia-smi --query-gpu=memory.total,memory.reserved,memory.free --format=csv

# vLLMのバージョンを確認する
python -c "import vllm; print(vllm.__version__)"

memory.reservedに数GB単位の値が出ていれば、vGPU特有のメモリ予約の影響を受ける環境です。物理GPUパススルーであれば、この値はほぼゼロになります。

また、Kubernetesのデプロイメント設定(DeploymentマニフェストやvLLMの起動コマンド)に--gpu-memory-utilizationやPYTORCH_CUDA_ALLOC_CONFが含まれているかも確認しておきます。--enforce-eagerが入っている場合は、何らかの起動トラブルの応急処置として残っている可能性があります。

対策の手順

以下の順で設定を見直すと、起動失敗とパフォーマンス劣化の両方に対応できます。

  • --gpu-memory-utilizationを0.85程度の保守的な値から試し、起動を確認してから0.91あたりまで段階的に引き上げる
  • 環境変数にPYTORCH_CUDA_ALLOC_CONF=expandable_segments:Trueが設定されていないか確認し、入っていれば削除する
  • --enforce-eagerが設定ファイルに残っていないか確認し、デバッグ目的以外では外す
  • 長いコンテキストが必要な場合は--kv-cache-dtype fp8を指定し、精度要件と照らし合わせて許容できるか判断する
  • 設定変更のたびに起動ログを確認し、実際に確保されたKVキャッシュサイズと最大同時実行数を把握する

最後の確認は、次のようなコマンドでログを見ます。

kubectl -n vllm logs deploy/vllm-qwen38 | grep -E "GPU KV cache size|Maximum concurrency"

このログに出る数値が、設定変更の効果を判断する一番確実な材料になります。--gpu-memory-utilizationを上げたのにKVキャッシュサイズが増えていない場合は、他のボトルネック(モデル重みやCUDAグラフのバッファ)が先に食いつぶしている可能性があります。

vGPU環境のvLLMチューニングは、物理GPU向けの定番トラブルシュート(expandable_segments、enforce-eager)がそのまま逆効果になる場面があるため、設定変更のたびに起動ログの実測値で確認することが欠かせません。

まとめ

vGPU上でvLLMを運用する際の落とし穴は、物理GPUとの前提の違いに起因するものがほとんどです。nvidia-smiのメモリ総量をそのまま信じない、PyTorchが提案する汎用的なメモリ最適化オプションを疑う、起動トラブルの応急処置フラグが性能に直結することを理解しておく、という3点が土台になります。

既存の基盤を保守している場合は、まずnvidia-smi --query-gpu=memory.total,memory.reserved,memory.free --format=csvで予約メモリ量を確認し、現在の--gpu-memory-utilizationの値がどの程度余裕を持っているかを棚卸ししてみてください。長いコンテキストを要件に持つシステムであれば、--kv-cache-dtype fp8の導入余地があるかどうかも、精度要件を踏まえて検討する価値があります。

参考

Tuning vLLM on NVIDIA vGPUs

AI 駆動開発のご相談は forva AI へ。

まずはお気軽にどうぞ。