Vue d'ensemble du Model Gateway
Découvrez comment Bob on-premises utilise les fichiers model-gateway.yaml et config.yaml pour configurer en toute sécurité les endpoints de modèles, les identifiants et les certificats TLS pour l'accès au Model Gateway.
Pour permettre l'accès aux modèles externes et hébergés par des fournisseurs, Bob on-premises utilise une approche de configuration à deux fichiers qui sépare les paramètres de routage des modèles des identifiants et certificats sensibles. Le fichier model-gateway.yaml définit les endpoints de modèles, les configurations des fournisseurs et les références aux variables d'identifiants et de certificats, tandis que config.yaml stocke les valeurs de secrets correspondantes. Cette séparation améliore la sécurité, simplifie la gestion des identifiants et garantit un déploiement cohérent à travers les environnements.
Comprendre les fichiers de configuration
La configuration de l'accès aux modèles pour Bob on-premises nécessite deux fichiers de configuration qui fonctionnent ensemble. Cette approche sépare la configuration des modèles des informations sensibles, vous aidant à gérer les identifiants et les certificats en toute sécurité.
Le fichier model-gateway.yaml définit les endpoints de modèles et fait référence aux noms de variables qui stockent les identifiants et les certificats. Les valeurs réelles des secrets — clés d'API, jetons d'accès, mots de passe et certificats TLS — sont stockées séparément dans config.yaml.
| Fichier | Objectif | Contenu | Quand l'utiliser |
|---|---|---|---|
model-gateway.yaml (Spécification de routage des modèles) | Définit les paramètres de routage et de connexion des modèles pour le Model Gateway. | Endpoints de modèles et blocs de routage des fournisseurs ; pointeurs de noms de variables pour les identifiants (par exemple, api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY) ; pointeur de nom de variable pour les certificats CA TLS (par exemple, ca_cert_pem: env.CA_CERT). Les noms de variables d'environnement peuvent être n'importe quel nom, à condition que le même nom soit défini dans bob.modelGateway.secrets. Ne stockez pas de secrets réels dans ce fichier. | À créer à partir de config-model-gateway-template.yaml pour spécifier les endpoints de modèles et les noms de variables pour les identifiants et les certificats TLS. |
config.yaml (Installation principale & Secrets) | Stocke les valeurs réelles des secrets utilisées par le Model Gateway. | Clés d'API, jetons d'accès, mots de passe et certificats TLS encodés en PEM mappés aux noms de variables définis dans model-gateway.yaml. | Remplissez ce fichier avec les identifiants et valeurs de certificats requis avant le déploiement sous bob.modelGateway.secrets. |
Comment les secrets sont gérés
Vous n'avez pas besoin de créer ou d'exporter des variables d'environnement sur votre poste de travail local.
Lorsque vous exécutez l'installation de Bob :
- Bob lit les valeurs définies dans
bob.modelGateway.secretsau sein deconfig.yaml. - Le processus d'installation crée un secret Kubernetes dans le cluster OpenShift.
- Les valeurs de secret sont injectées dans le service d'inférence Bob.
- Le Model Gateway résout les références telles que
env.<VAR_NAME>à partir de l'environnement d'exécution à l'intérieur du pod.
Cette approche garantit que les informations sensibles sont stockées en toute sécurité et restent séparées des paramètres de configuration des modèles.
Flux de travail de configuration recommandé
Configurer model-gateway.yaml
Créez model-gateway.yaml à partir du modèle fourni et définissez :
- Les endpoints de modèles
- Les paramètres du fournisseur
- Les références aux variables d'identifiants
- Les références aux variables de certificats TLS
Par exemple : access_key: env.AWS_ACCESS_KEY
Configurer config.yaml
Créez config.yaml à partir du modèle fourni et ajoutez les valeurs de secret correspondantes sous bob.modelGateway.secrets. Par exemple :
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Déployer la configuration
Installez ou mettez à jour Bob à l'aide des fichiers configurés. Lors du déploiement, Bob applique la configuration d'infrastructure issue de config.yaml et charge la configuration du Model Gateway depuis model-gateway.yaml.
L'opérateur Bob gère la connectivité entre Bob et vos endpoints de modèles. Le provisionnement, le déploiement et l'exploitation de l'infrastructure sous-jacente de service de modèles n'entrent pas dans le périmètre de l'opérateur Bob.