複数のLLM(大規模言語モデル)プロバイダのAPIを、OpenAIと同じ形式で呼び出せるようにするプロキシ「LiteLLM」を本番運用している方に向けた内容です。LiteLLM v1.108.10がリリースされ、LTS(Long Term Support、長期サポート)系列の修正パッチが複数バックポートされました。Dockerイメージの改ざんがないかを確認する署名検証の手順も含めて、実際に何を試せばよいか整理しました。
LiteLLMはAnthropicのClaude、GoogleのVertex AI(Gemini系モデルを含む基盤)、OpenAIなど、provider(提供元)ごとに異なるAPI仕様を単一のインターフェースに統一するミドルウェアです。社内で複数モデルを切り替えて評価したいチームや、コスト管理・レート制限を一元化したいチームで採用されるケースが見られます。今回のv1.108.10は新機能追加ではなく、lts/1.108.xというLTSブランチへの修正バックポート(過去の修正を古いバージョン系列に反映させる作業)が中心です。
この記事でできるようになること
この記事を読むと、LiteLLMのDockerイメージが公式にビルド・署名されたものかをcosignで検証できるようになります。
あわせて、v1.108.10で何が直っているのかを読み解き、自分の環境がアップデート対象かどうか判断する材料も持ち帰れます。
前提条件
検証作業には以下の環境を用意してください。
- Docker(またはPodmanなどコンテナランタイム)が動作するマシン
- cosign(Sigstoreプロジェクトが提供するコンテナ署名検証ツール)がインストール済みであること
- インターネット接続(ghcr.ioとGitHub Actionsのトークン発行元への疎通)
- LiteLLMをAWS Bedrock、Vertex AI、Azure OpenAIなど複数バックエンド経由で運用している、またはその予定があること
cosign未導入の場合は、Homebrewならbrew install cosign、Linuxならバイナリ配布から導入できます。バージョンはcosign v2系を想定します。
なぜ署名検証が必要なのか
LLMプロキシはAPIキーやプロンプトの中身を通過させる、いわば通信の結節点です。
ここで使うDockerイメージが差し替えられていたら、APIキーの窃取やレスポンスの改ざんにつながりかねません。
cosignによる署名検証は、イメージがBerriAI(LiteLLM開発元)のGitHub Actionsワークフローから確かにビルドされたものかを、OIDC(OpenID Connect、GitHubの認証情報を使った証明の仕組み)経由で確認する手段です。
手順
ステップ1: イメージを取得する
まずは対象バージョンのイメージをpullします。
docker pull ghcr.io/berriai/litellm:v1.108.10ステップ2: cosignで署名を検証する
次に、リリースに明記されている検証コマンドを実行します。
cosign verify \
--certificate-identity https://github.com/BerriAI/project-releaser/.github/workflows/release.yml@refs/heads/main \
--certificate-oidc-issuer https://token.actions.githubusercontent.com \
ghcr.io/berriai/litellm:v1.108.10このコマンドは「project-releaserというワークフローが、mainブランチから実行してビルドした」という証明書の中身と、イメージに付与された署名が一致するかを照合します。
--certificate-identityはビルド元のワークフローURLを指定する項目で、ここが一致しないと「なりすましビルド」の可能性があるとみなされます。
--certificate-oidc-issuerはGitHub ActionsのOIDCトークン発行元を指定しており、通常は変更不要です。
ステップ3: 自分の運用バージョンとの差分を確認する
v1.108.10では以下の修正がlts/1.108.x系列にバックポートされています。
- OpenAI向け処理の修正(PR #49176の移植)
- Vertex AI経由でClaudeモデルを呼ぶ際の、バージョンごとの
max_tokens扱いの修正(PR #40376の移植) - コスト計算まわりの修正(PR #47497の移植)
- Vertex画像編集・Gemini画像使用量に関する統合テストの追加
max_tokensはモデルが生成できるトークン数(単語やサブワード単位の生成量上限)の指定値です。
Claudeモデルはバージョンによってこの上限値の扱いが異なり、Vertex AI経由で呼び出す際に誤った上限が適用されると、生成が途中で打ち切られたり逆にコスト超過になったりする可能性があります。
コスト計算の修正は、複数モデルを使い分けてコスト比較・評価しているチームには特に見ておきたいポイントです。
想定より高く(あるいは低く)コストが記録されていた場合、旧バージョンのバグが原因だった可能性があります。
動作確認の方法
cosign verifyが成功すると、証明書の内容を含んだJSON形式の出力とともに終了コード0で完了します。
失敗する場合は--certificate-identityやタグ指定のtypoを疑い、公式リリースページに記載の文字列をそのままコピーしてください。
コンテナを起動したあとは、実際にVertex AI経由でClaudeモデルを呼び出し、レスポンスのトークン数や打ち切られていないかを確認するとよいでしょう。
docker run -p 4000:4000 ghcr.io/berriai/litellm:v1.108.10 --config /app/config.yaml設定ファイル(config.yaml)でVertex AIのモデルエイリアスを定義している場合は、max_tokensを明示的に指定したリクエストを投げ、レスポンスのfinish_reason(生成終了理由)がlength(上限到達による打ち切り)になっていないか見ておくと、修正の効果を実感しやすいです。
ハマりやすいポイント
LTSブランチ特有の注意点として、lts/1.108.xはメインの開発ブランチとは別系統で管理されています。
そのため、GitHub上でPR番号を追っても「このバージョンにはまだ入っていない」ということが起こり得ます。
実際、今回のリリースでも各修正は「backport」という形で個別のPRとして移植されており、元の修正(#49176、#40376、#47497)とバックポート先のPR(それぞれ#51860、#51863、#51412)が別番号になっています。
自分の使っているバージョンがどの修正を含むかを調べるときは、リリースノートの「Full Changelog」リンクでv1.108.9からv1.108.10までの差分を直接確認するのが確実です。
PR番号だけを頼りに「入っているはず」と判断すると、LTSブランチには未反映というケースを見落とします。
まとめ
LiteLLMをLLM切り替えの基盤として使っているなら、v1.108.10へのアップデートはVertex AI経由のClaude利用とコスト計算の正確性に関わる内容なので確認の価値があります。
手始めに、手元の環境でcosign verifyを実行し、ghcr.ioのイメージが正規のビルドかどうかをまず確かめてください。
そのうえで、LTSブランチのFull Changelogリンクをたどり、自分が依存している機能に関わる修正が含まれているかを個別に確認するのが安全な進め方です。
コスト計算やmax_tokensの挙動は、複数モデルを横並びで評価しているときほど静かにズレを生みやすい部分なので、アップデート後は実際のレスポンスを1件でも手元で見ておくと安心です。