モデルゲートウェイの概要
Bob オンプレミスが model-gateway.yaml と config.yaml ファイルを使用して、モデルゲートウェイアクセス用のモデルエンドポイント、クレデンシャル、TLS 証明書を安全に設定する方法について説明します。
外部およびプロバイダーホスト型モデルへのアクセスを有効にするために、Bob オンプレミスはモデルルーティング設定と機密クレデンシャルおよび証明書を分離する 2 ファイル設定アプローチを採用しています。model-gateway.yaml ファイルはモデルエンドポイント、プロバイダー設定、クレデンシャルと証明書変数への参照を定義し、config.yaml は対応するシークレット値を保管します。この分離によりセキュリティが向上し、クレデンシャル管理が簡素化され、環境全体で一貫したデプロイメントがサポートされます。
設定ファイルについて
Bob オンプレミスのモデルアクセスを設定するには、連携して動作する 2 つの設定ファイルが必要です。このアプローチはモデル設定と機密情報を分離し、クレデンシャルと証明書を安全に管理できるようにします。
model-gateway.yaml ファイルはモデルエンドポイントを定義し、クレデンシャルと証明書を保管する変数の名前を参照します。実際のシークレット値 — API キー、アクセストークン、パスワード、TLS 証明書 — は config.yaml に別途保管されます。
| ファイル | 目的 | 内容 | 使用場面 |
|---|---|---|---|
model-gateway.yaml (モデルルーティング仕様) | モデルゲートウェイのモデルルーティングと接続設定を定義します。 | モデルエンドポイントとプロバイダールーティングブロック。クレデンシャル用の変数名ポインター (例: api_key: env.BOB_AZURE_API_KEY、access_key_id: env.AWS_ACCESS_KEY)。TLS CA 証明書用の変数名ポインター (例: ca_cert_pem: env.CA_CERT)。環境変数名は任意の名前を使用できますが、bob.modelGateway.secrets で同じ名前が定義されている必要があります。このファイルに実際のシークレットを保管しないでください。 | config-model-gateway-template.yaml から作成して、モデルエンドポイントとクレデンシャルおよび TLS 証明書の変数名を指定します。 |
config.yaml (メインインストール & シークレット) | モデルゲートウェイで使用される実際のシークレット値を保管します。 | model-gateway.yaml で定義された変数名にマッピングされた API キー、アクセストークン、パスワード、PEM エンコードされた TLS 証明書。 | デプロイメント前に bob.modelGateway.secrets の下に必要なクレデンシャルと証明書の値を入力します。 |
シークレットの管理方法
ローカルワークステーションで環境変数を作成またはエクスポートする必要はありません。
Bob インストールを実行すると:
- Bob は
config.yaml内のbob.modelGateway.secretsで定義された値を読み取ります。 - インストールプロセスが OpenShift クラスターに Kubernetes シークレットを作成します。
- シークレット値が Bob Inference サービスに注入されます。
- モデルゲートウェイは Pod 内のランタイム環境から
env.<VAR_NAME>などの参照を解決します。
このアプローチにより、機密情報が安全に保管され、モデル設定から分離されます。
推奨設定ワークフロー
model-gateway.yaml を設定する
提供されたテンプレートから model-gateway.yaml を作成し、以下を定義します。
- モデルエンドポイント
- プロバイダー設定
- クレデンシャル変数参照
- TLS 証明書変数参照
例: access_key: env.AWS_ACCESS_KEY
config.yaml を設定する
提供されたテンプレートから config.yaml を作成し、bob.modelGateway.secrets の下に対応するシークレット値を追加します。例:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"設定をデプロイする
設定されたファイルを使用して Bob をインストールまたは更新します。デプロイメント中に Bob は config.yaml からインフラ設定を適用し、model-gateway.yaml からモデルゲートウェイ設定を読み込みます。
Bob オペレーターは Bob とモデルエンドポイント間の接続を管理します。基盤となるモデルサービングインフラのプロビジョニング、デプロイ、運用は Bob オペレーターの範囲外です。