暗い画面に表示されたミニファイされたJavaScriptコード
ニュース深掘り

LiteLLM v1.108.4 (LTS) 検証:MCPエラーとBedrock障害の修正点

目次を見る

複数のLLM(大規模言語モデル)プロバイダーをまとめて扱うAPIゲートウェイ「LiteLLM」が、LTS(長期サポート版)としてv1.108.4をリリースしました。

OpenAI・Anthropic・Google Gemini・AWS Bedrockなど、プロバイダーごとに異なるAPI仕様を統一インターフェースで呼び出せるようにするのがLiteLLMの役割です。複数モデルを比較評価したり、フォールバック(主系障害時に別モデルへ自動切替する仕組み)を組んだりする基盤として採用する組織が増えています。

今回のリリースはLTSという位置づけが重要です。LiteLLMは通常版と別にLTSラインを用意しており、破壊的変更を避けて修正のみを積み重ねる方針を取っています。本番環境でLiteLLMをプロキシ(API中継サーバー)として動かしているなら、まず自分が追っているのが通常版かLTS版かを確認する価値があります。

何が変わったのか:10件のPRの中身

公式のリリースノートによると、今回は10件のPR(プルリクエスト、変更提案の単位)が取り込まれ、うち7件が修正、1件が仕様変更です。残りは内部的な対応で、利用者側のアクション不要とされています。

特に実務への影響が大きいのはSDK(開発者向けライブラリ)に関する修正です。completion()やresponses()、ツール呼び出し付きのmessagesを使うと「No module named 'mcp'」というエラーが出る不具合が、v1.106.0から続いていたことが判明しました。

MCP(Model Context Protocol、LLMが外部ツールやデータソースに接続するための標準プロトコル)はAnthropicが提唱し、現在はOpenAIやGoogleも対応を進めている仕組みです。LiteLLM経由でツール呼び出し機能を使っていた場合、ベースインストール(追加パッケージなしの標準構成)のままだとこのエラーに遭遇していた可能性があります。

もう1つ注目すべきはAWS Bedrock関連の修正です。Claudeの「signed thinking」(署名付き思考過程、モデルが推論途中の内容を検証可能な形で保持する機能)を含む会話を、Bedrock経由でGLMやNova系モデルに渡すと400エラーになる不具合が解消されました。マルチモデル比較基盤でBedrockを使い、Claude系とNova系を同じ会話フローで切り替えている構成では、気づかないうちにリクエストが落ちていた可能性があります。

比較評価パイプラインへの影響を段階的に見る

LLMの比較評価やA/Bテストを行うパイプラインでは、同一のプロンプトを複数モデルへ並行送信する設計がよく使われます。

ここで問題になるのが「guardrailConfig」の扱いです。今回の変更で、Bedrockのパススルールート(素通しで転送する経路)は呼び出し側が送るガードレール設定より、モデルに紐づくguardrailConfigを優先するようになりました。

ガードレール(生成内容の安全性チェック機構)を評価軸ごとに動的に切り替えるテスト設計をしている場合、この優先順位の変更は結果に直結します。呼び出し元でガードレールを上書きしていたつもりが、実際にはモデル側の設定が効いていた、という事態は評価結果の再現性を損ないかねません。

また、/v1/messagesエンドポイント(Anthropic形式のAPI)経由でOpenAIモデルを呼ぶ際、background: true(非同期実行オプション)が上流にそのまま送られてしまい、結果が空なのに課金だけ発生する不具合も修正されています。コスト計測を伴う評価実験では地味に効いてくる修正です。

関連技術との比較:なぜLiteLLMのLTSが意味を持つか

LLMゲートウェイの選択肢としては、LiteLLM以外にOpenRouterのようなホスト型サービスや、各クラウドベンダーが提供するネイティブSDKを直接束ねる自前実装があります。

ホスト型サービスはインフラ管理が不要な一方、自社のVPC(仮想プライベートクラウド)内で完結させたい場合や、監査ログを自社基盤に残したい場合はLiteLLMのようなセルフホスト型プロキシが選ばれやすい傾向があります。

LiteLLMが通常版とLTS版を分けている設計は、Kubernetes(コンテナオーケストレーション基盤)やNode.jsのLTSポリシーと似た発想です。頻繁にモデル対応が追加される開発版を追いかけるとRAG(検索拡張生成)パイプラインの挙動が意図せず変わるリスクがあります。本番運用ではLTSで固定し、検証環境で開発版を試すという使い分けが現実的です。

今日確認できること

まず、自分の環境がどのイメージタグを使っているか確認してください。docker inspectやデプロイ設定(Helmのvalues.yamlやdocker-compose.yml)でイメージタグを見れば、v1.108.x系かそれ以前かが分かります。

ltsタグを指定していれば常に最新のLTSパッチへ追従する設定なので、再デプロイだけで今回の修正が反映されます。

docker pull ghcr.io/berriai/litellm:lts

署名検証をしたい場合は、cosign(コンテナイメージの署名検証ツール)を使った確認コマンドが公開されています。

cosign verify \
  --key https://raw.githubusercontent.com/BerriAI/litellm/e82a3c646908ba0a6ee0beddc4310d7a6cac4065/cosign.pub \
  ghcr.io/berriai/litellm:v1.108.4

次に、以下の3点をチェックリストとして確認するのをおすすめします。

  • ツール呼び出し(MCP連携)を使っているなら、「No module named 'mcp'」エラーのログが過去になかったか確認する
  • Bedrock経由でClaude以外のモデル(GLM・Nova系など)に推論過程を含む会話を渡しているなら、アップグレード後に400エラーが解消したか再テストする
  • ガードレール設定をリクエスト側で動的に切り替えている場合、優先順位の変更により期待通りの設定が適用されているかログで確認する

チーム単位でAPIキーを払い出している構成(マルチテナント運用)なら、BYOK(Bring Your Own Key、自前のAPIキーを持ち込む方式)のワイルドカード設定がプロキシ全体の設定に上書きされていた不具合も直っているため、該当するならルーティングの挙動を再確認する価値があります。

まとめ

LiteLLM v1.108.4はLTSラインの修正リリースで、新機能追加よりも既存の不具合解消に徹した内容です。

特にMCP関連のSDKエラー、Bedrockでの推論過程エラー、ガードレール優先順位の変更は、複数モデルを横断して評価・運用している環境ほど影響が出やすい箇所です。

まずは自分のデプロイがどのタグを参照しているかを確認し、ltsタグ運用なら再デプロイで追従できる状態かをチェックしてみてください。

ツール呼び出しやBedrock経由のマルチモデル比較を行っているなら、アップグレード後に該当機能の動作確認を一度挟んでおくと安心です。

参考

litellm v1.108.4 — 1.108.4 (LTS)

AI 駆動開発のご相談は forva AI へ。

まずはお気軽にどうぞ。