Model-Gateway-Übersicht
Erfahre, wie Bob On-Premises die Dateien model-gateway.yaml und config.yaml verwendet, um Modell-Endpoints, Anmeldeinformationen und TLS-Zertifikate für den Model-Gateway-Zugang sicher zu konfigurieren.
Um Zugang zu externen und provider-gehosteten Modellen zu ermöglichen, verwendet Bob On-Premises einen Zwei-Datei-Konfigurationsansatz, der Modell-Routing-Einstellungen von vertraulichen Anmeldeinformationen und Zertifikaten trennt. Die Datei model-gateway.yaml definiert Modell-Endpoints, Provider-Konfigurationen und Referenzen auf Anmeldeinformations- und Zertifikatsvariablen, während config.yaml die entsprechenden geheimen Werte speichert. Diese Trennung verbessert die Sicherheit, vereinfacht die Verwaltung von Anmeldeinformationen und unterstützt ein konsistentes Deployment in verschiedenen Umgebungen.
Konfigurationsdateien verstehen
Die Konfiguration des Modellzugangs für Bob On-Premises erfordert zwei Konfigurationsdateien, die zusammenarbeiten. Dieser Ansatz trennt die Modellkonfiguration von vertraulichen Informationen und hilft dir, Anmeldeinformationen und Zertifikate sicher zu verwalten.
Die Datei model-gateway.yaml definiert Modell-Endpoints und referenziert die Namen von Variablen, die Anmeldeinformationen und Zertifikate speichern. Die eigentlichen geheimen Werte — API-Schlüssel, Zugriffstoken, Passwörter und TLS-Zertifikate — werden separat in config.yaml gespeichert.
| Datei | Zweck | Inhalt | Verwendung |
|---|---|---|---|
model-gateway.yaml (Model Routing Specification) | Definiert Modell-Routing und Verbindungseinstellungen für den Model Gateway. | Modell-Endpoints und Provider-Routing-Blöcke; Variablennamen-Zeiger für Anmeldeinformationen (z. B. api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); Variablennamen-Zeiger für TLS-CA-Zertifikate (z. B. ca_cert_pem: env.CA_CERT). Umgebungsvariablennamen können beliebig sein, sofern derselbe Name in bob.modelGateway.secrets definiert ist. Speichere keine eigentlichen Secrets in dieser Datei. | Aus config-model-gateway-template.yaml erstellen, um Modell-Endpoints und die Variablennamen für Anmeldeinformationen und TLS-Zertifikate anzugeben. |
config.yaml (Main Install & Secrets) | Speichert die eigentlichen geheimen Werte, die vom Model Gateway verwendet werden. | API-Schlüssel, Zugriffstoken, Passwörter und PEM-kodierte TLS-Zertifikate, die den in model-gateway.yaml definierten Variablennamen zugeordnet sind. | Diese Datei vor dem Deployment mit den erforderlichen Anmeldeinformationen und Zertifikatswerten unter bob.modelGateway.secrets befüllen. |
Wie Secrets verwaltet werden
Du musst keine Umgebungsvariablen auf deiner lokalen Workstation erstellen oder exportieren.
Wenn du die Bob-Installation ausführst:
- Bob liest die in
bob.modelGateway.secretsinconfig.yamldefinierten Werte. - Der Installationsprozess erstellt ein Kubernetes-Secret im OpenShift-Cluster.
- Die geheimen Werte werden in den Bob-Inferenz-Service injiziert.
- Der Model Gateway löst Referenzen wie
env.<VAR_NAME>aus der Laufzeitumgebung innerhalb des Pods auf.
Dieser Ansatz stellt sicher, dass vertrauliche Informationen sicher gespeichert werden und von den Modellkonfigurationseinstellungen getrennt bleiben.
Empfohlener Konfigurations-Workflow
model-gateway.yaml konfigurieren
Erstelle model-gateway.yaml aus der bereitgestellten Vorlage und definiere:
- Modell-Endpoints
- Provider-Einstellungen
- Variablenreferenzen für Anmeldeinformationen
- Variablenreferenzen für TLS-Zertifikate
Beispiel: access_key: env.AWS_ACCESS_KEY
config.yaml konfigurieren
Erstelle config.yaml aus der bereitgestellten Vorlage und füge die entsprechenden geheimen Werte unter bob.modelGateway.secrets hinzu. Beispiel:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Konfiguration deployen
Installiere oder aktualisiere Bob mithilfe der konfigurierten Dateien. Während des Deployments wendet Bob die Infrastrukturkonfiguration aus config.yaml an und lädt die Model-Gateway-Konfiguration aus model-gateway.yaml.
Der Bob-Operator verwaltet die Konnektivität zwischen Bob und deinen Modell-Endpoints. Das Bereitstellen, Deployen und Betreiben der zugrunde liegenden Modell-Serving-Infrastruktur liegt außerhalb des Umfangs des Bob-Operators.