Panoramica del Model Gateway
Scopri come Bob on-premises usa i file model-gateway.yaml e config.yaml per configurare in modo sicuro endpoint di modelli, credenziali e certificati TLS per l'accesso al Model Gateway.
Per abilitare l'accesso a modelli esterni e ospitati da provider, Bob on-premises usa un approccio di configurazione a due file che separa le impostazioni di routing dei modelli dalle credenziali sensibili e dai certificati. Il file model-gateway.yaml definisce gli endpoint dei modelli, le configurazioni dei provider e i riferimenti alle variabili di credenziali e certificati, mentre config.yaml archivia i valori dei secret corrispondenti. Questa separazione migliora la sicurezza, semplifica la gestione delle credenziali e supporta deployment coerenti tra ambienti diversi.
Comprensione dei file di configurazione
La configurazione dell'accesso ai modelli per Bob on-premises richiede due file di configurazione che lavorano insieme. Questo approccio separa la configurazione dei modelli dalle informazioni sensibili, aiutandoti a gestire credenziali e certificati in modo sicuro.
Il file model-gateway.yaml definisce gli endpoint dei modelli e fa riferimento ai nomi delle variabili che archiviano credenziali e certificati. I valori dei secret effettivi — chiavi API, token di accesso, password e certificati TLS — sono archiviati separatamente in config.yaml.
| File | Scopo | Contenuti | Quando usarlo |
|---|---|---|---|
model-gateway.yaml (Model Routing Specification) | Definisce le impostazioni di routing e connessione dei modelli per il Model Gateway. | Endpoint dei modelli e blocchi di routing del provider; puntatori ai nomi delle variabili per le credenziali (ad esempio, api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); puntatore al nome della variabile per i certificati CA TLS (ad esempio, ca_cert_pem: env.CA_CERT). I nomi delle variabili d'ambiente possono essere qualsiasi nome, purché lo stesso nome sia definito in bob.modelGateway.secrets. Non archiviare secret effettivi in questo file. | Crea da config-model-gateway-template.yaml per specificare gli endpoint dei modelli e i nomi delle variabili per credenziali e certificati TLS. |
config.yaml (Main Install & Secrets) | Archivia i valori dei secret effettivi usati dal Model Gateway. | Chiavi API, token di accesso, password e certificati TLS con codifica PEM mappati ai nomi delle variabili definiti in model-gateway.yaml. | Popola questo file con le credenziali e i valori dei certificati richiesti prima del deployment sotto bob.modelGateway.secrets. |
Gestione dei secret
Non è necessario creare o esportare variabili d'ambiente sulla tua workstation locale.
Quando esegui l'installazione di Bob:
- Bob legge i valori definiti in
bob.modelGateway.secretsall'interno diconfig.yaml. - Il processo di installazione crea un secret Kubernetes nel cluster OpenShift.
- I valori del secret vengono iniettati nel servizio Bob Inference.
- Il Model Gateway risolve i riferimenti come
env.<VAR_NAME>dall'ambiente di runtime all'interno del pod.
Questo approccio garantisce che le informazioni sensibili siano archiviate in modo sicuro e rimangano separate dalle impostazioni di configurazione dei modelli.
Workflow di configurazione consigliato
Configura model-gateway.yaml
Crea model-gateway.yaml dal template fornito e definisci:
- Endpoint dei modelli
- Impostazioni del provider
- Riferimenti alle variabili delle credenziali
- Riferimenti alle variabili dei certificati TLS
Ad esempio: access_key: env.AWS_ACCESS_KEY
Configura config.yaml
Crea config.yaml dal template fornito e aggiungi i valori dei secret corrispondenti sotto bob.modelGateway.secrets. Ad esempio:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Esegui il deployment della configurazione
Installa o aggiorna Bob usando i file configurati. Durante il deployment, Bob applica la configurazione dell'infrastruttura da config.yaml e carica la configurazione del Model Gateway da model-gateway.yaml.
L'operator Bob gestisce la connettività tra Bob e gli endpoint dei tuoi modelli. Il provisioning, il deployment e la gestione dell'infrastruttura di model-serving sottostante esulano dallo scope dell'operator Bob.