インストール後の確認

ゲートウェイのヘルス確認

Inference Service Pod が実行中で、すべてのコンテナが Ready であることを確認します。

oc get pods -n <bob-namespace> -l app=bob-inference

ゲートウェイ初期化の起動ログを確認します。起動成功時には設定済みの各モデルが登録されるログが出力されます。クレデンシャルまたは設定の解析エラーはここに表示されます。

oc logs -n <bob-namespace> deploy/bob-inference --since=5m

クラスター内からゲートウェイの /v1/models エンドポイントが応答していることを確認します — これがゲートウェイが起動して設定を読み込んでいる最も明確なシグナルです。

oc exec -n <bob-namespace> deploy/bob-gateway -- \
  curl -sk https://bob-inference.<bob-namespace>.svc.cluster.local:7330/v1/model/info | jq .

モデル接続性の検証

期待される各 model_name の /v1/models レスポンスを確認します。接続に失敗したモデル (不正な URL、認証エラー、TLS 障害) はリストに表示されないか、エラーステータスで表示されます。

モデル推論のテスト

コアモデルとガードレールモデルの両方について、クラスター内から Inference Service に直接最小限のテスト補完リクエストを送信します。

oc exec -n <bob-namespace> deploy/bob-gateway -- \
  curl -sk https://bob-inference.<bob-namespace>.svc.cluster.local:7330/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model_name>",
    "messages": [{"role": "user", "content": "Say hello."}],
    "max_tokens": 10
  }' | jq .

成功レスポンスには message.content フィールドを持つ choices 配列が含まれます。

一般的なエラー:

モデルルーティングの検証

レスポンスの model フィールドがリクエストされた model_name と一致することを確認して、プライマリモデルが正しくルーティングされることを確認します。

モデルエントリに fallbacks が設定されている場合は、プライマリモデルの base_url を一時的に到達不可能なホストに向けてゲートウェイがリスト内の次のモデルにフォールバックすることを確認してフォールバックパスを検証します。テスト後に正しい base_url を復元してください。

exposed: false のモデルについては、パブリックモデルリストに表示されなくても内部ルーティングが正しく解決されることを確認します。

エラー処理の検証

ゲートウェイが障害を適切に処理することを確認するために、以下の意図的なネガティブテストを実行します。

ログの収集とトラブルシューティング

テストリクエスト中にライブログをストリームして、リアルタイムでゲートウェイのルーティング決定を観察します。

oc logs -n <bob-namespace> deploy/bob-inference -f

サポートへの共有用にフルログダンプを収集します。

oc logs -n <bob-namespace> deploy/bob-inference --since=1h > bob-inference.log

主要なログパターン:

イベントレベルのエラー (コンテナの起動を防ぐシークレットマウント失敗など) の場合:

oc describe pod -n <bob-namespace> -l app=inference-service

新しいモデルがデプロイされていることを確認

新しいモデルがデプロイされてサービングされていることを確認します。モデルサービングインフラを参照してください。

モデルゲートウェイ設定ファイルを更新

model-gateway.yaml を更新して新しいモデルを参照します。モデルゲートウェイの設定を参照してください。

変更を適用

bobctl update-model-config を使用して更新された設定を適用します。

bobctl update-model-config --model-config ./my-model-config.yaml --update-secrets

フラグのリファレンスについては設定のデプロイを参照してください。