Przegląd bramy modelu
Dowiedz się, jak IBM Bob on-premises używa plików model-gateway.yaml i config.yaml do bezpiecznego konfigurowania punktów końcowych modeli, danych uwierzytelniających i certyfikatów TLS na potrzeby dostępu do bramy modelu.
Aby umożliwić dostęp do zewnętrznych i hostowanych przez dostawców modeli, IBM Bob on-premises używa dwuplikowego podejścia do konfiguracji, które rozdziela ustawienia routingu modeli od poufnych danych uwierzytelniających i certyfikatów. Plik model-gateway.yaml definiuje punkty końcowe modeli, konfiguracje dostawców i odwołania do zmiennych przechowujących dane uwierzytelniające i certyfikaty, podczas gdy config.yaml przechowuje odpowiednie tajne wartości. Takie rozdzielenie zwiększa bezpieczeństwo, upraszcza zarządzanie danymi uwierzytelniającymi i obsługuje spójne wdrożenia w różnych środowiskach.
Opis plików konfiguracyjnych
Konfiguracja dostępu do modeli dla IBM Bob on-premises wymaga dwóch plików konfiguracyjnych, które współpracują ze sobą. Takie podejście oddziela konfigurację modelu od poufnych informacji, pomagając w bezpiecznym zarządzaniu danymi uwierzytelniającymi i certyfikatami.
Plik model-gateway.yaml definiuje punkty końcowe modeli i odwołuje się do nazw zmiennych przechowujących dane uwierzytelniające i certyfikaty. Rzeczywiste tajne wartości — klucze API, tokeny dostępu, hasła i certyfikaty TLS — są przechowywane oddzielnie w config.yaml.
| Plik | Cel | Zawartość | Kiedy używać |
|---|---|---|---|
model-gateway.yaml (Specyfikacja routingu modelu) | Definiuje routing modeli i ustawienia połączeń dla bramy modelu. | Punkty końcowe modeli i bloki routingu dostawców; wskaźniki nazw zmiennych dla danych uwierzytelniających (na przykład api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); wskaźnik nazwy zmiennej dla certyfikatów CA TLS (na przykład ca_cert_pem: env.CA_CERT). Nazwy zmiennych środowiskowych mogą być dowolne, pod warunkiem że ta sama nazwa jest zdefiniowana w bob.modelGateway.secrets. Nie przechowuj rzeczywistych sekretów w tym pliku. | Utwórz z config-model-gateway-template.yaml, aby określić punkty końcowe modeli oraz nazwy zmiennych dla danych uwierzytelniających i certyfikatów TLS. |
config.yaml (Główna konfiguracja instalacji i sekrety) | Przechowuje rzeczywiste tajne wartości używane przez bramę modelu. | Klucze API, tokeny dostępu, hasła i certyfikaty TLS zakodowane w formacie PEM, powiązane z nazwami zmiennych zdefiniowanymi w model-gateway.yaml. | Wypełnij ten plik wymaganymi danymi uwierzytelniającymi i wartościami certyfikatów przed wdrożeniem, w sekcji bob.modelGateway.secrets. |
Jak zarządzane są sekrety
Nie musisz tworzyć ani eksportować zmiennych środowiskowych na lokalnej stacji roboczej.
Po uruchomieniu instalacji Bob:
- Bob odczytuje wartości zdefiniowane w
bob.modelGateway.secretsw plikuconfig.yaml. - Proces instalacji tworzy sekret Kubernetes w klastrze OpenShift.
- Wartości sekretów są wstrzykiwane do usługi wnioskowania Bob.
- Brama modelu rozwiązuje odwołania takie jak
env.<VAR_NAME>ze środowiska uruchomieniowego wewnątrz poda.
Takie podejście gwarantuje, że poufne informacje są przechowywane bezpiecznie i pozostają oddzielone od ustawień konfiguracji modelu.
Zalecany przepływ konfiguracji
Konfiguracja model-gateway.yaml
Utwórz model-gateway.yaml z dostarczonego szablonu i zdefiniuj:
- Punkty końcowe modeli
- Ustawienia dostawców
- Odwołania do zmiennych danych uwierzytelniających
- Odwołania do zmiennych certyfikatów TLS
Na przykład: access_key: env.AWS_ACCESS_KEY
Konfiguracja config.yaml
Utwórz config.yaml z dostarczonego szablonu i dodaj odpowiednie tajne wartości w sekcji bob.modelGateway.secrets. Na przykład:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Wdrożenie konfiguracji
Zainstaluj lub zaktualizuj Bob przy użyciu skonfigurowanych plików. Podczas wdrożenia Bob stosuje konfigurację infrastruktury z config.yaml i ładuje konfigurację bramy modelu z model-gateway.yaml.
Operator Bob zarządza łącznością między Bob a punktami końcowymi modeli. Aprowizacja, wdrażanie i obsługa bazowej infrastruktury do serwowania modeli wykracza poza zakres operatora Bob.