Przegląd bramy modelu
Dowiedz się, jak IBM Bob samodzielnie wdrożony używa plików model-gateway.yaml i config.yaml do bezpiecznego konfigurowania punktów końcowych modeli, danych uwierzytelniających i certyfikatów TLS na potrzeby dostępu do bramy modelu.
Aby umożliwić dostęp do zewnętrznych i hostowanych przez dostawców modeli, IBM Bob samodzielnie wdrożony używa dwuplikowego podejścia do konfiguracji, które rozdziela ustawienia routingu modeli od poufnych danych uwierzytelniających i certyfikatów. Plik model-gateway.yaml definiuje punkty końcowe modeli, konfiguracje dostawców i odwołania do zmiennych przechowujących dane uwierzytelniające i certyfikaty, podczas gdy config.yaml przechowuje odpowiednie tajne wartości. Takie rozdzielenie zwiększa bezpieczeństwo, upraszcza zarządzanie danymi uwierzytelniającymi i obsługuje spójne wdrożenia w różnych środowiskach.
Opis plików konfiguracyjnych
Konfiguracja dostępu do modeli dla IBM Bob samodzielnie wdrożonego wymaga dwóch plików konfiguracyjnych, które współpracują ze sobą. Takie podejście oddziela konfigurację modelu od poufnych informacji, pomagając w bezpiecznym zarządzaniu danymi uwierzytelniającymi i certyfikatami.
Plik model-gateway.yaml definiuje punkty końcowe modeli i odwołuje się do nazw zmiennych przechowujących dane uwierzytelniające i certyfikaty. Rzeczywiste tajne wartości — klucze API, tokeny dostępu, hasła i certyfikaty TLS — są przechowywane oddzielnie w config.yaml.
| Plik | Cel | Zawartość | Kiedy używać |
|---|---|---|---|
model-gateway.yaml (Specyfikacja routingu modelu) | Definiuje routing modeli i ustawienia połączeń dla bramy modelu. | Punkty końcowe modeli i bloki routingu dostawców; wskaźniki nazw zmiennych dla danych uwierzytelniających (na przykład api_key: env.AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); wskaźnik nazwy zmiennej dla certyfikatów CA TLS (na przykład ca_cert_pem: env.CA_CERT). Nazwy zmiennych środowiskowych mogą być dowolne, pod warunkiem że ta sama nazwa jest zdefiniowana w bob.modelGateway.secrets. Nie przechowuj rzeczywistych sekretów w tym pliku. | Utwórz z config-model-gateway-template.yaml, aby określić punkty końcowe modeli oraz nazwy zmiennych dla danych uwierzytelniających i certyfikatów TLS. |
config.yaml (Główna konfiguracja instalacji i sekrety) | Przechowuje rzeczywiste tajne wartości używane przez bramę modelu. | Klucze API, tokeny dostępu, hasła i certyfikaty TLS zakodowane w formacie PEM, powiązane z nazwami zmiennych zdefiniowanymi w model-gateway.yaml. | Wypełnij ten plik wymaganymi danymi uwierzytelniającymi i wartościami certyfikatów przed wdrożeniem, w sekcji bob.modelGateway.secrets. |
Jak zarządzane są sekrety
Nie musisz tworzyć ani eksportować zmiennych środowiskowych na lokalnej stacji roboczej.
Po uruchomieniu instalacji Bob:
- Bob odczytuje wartości zdefiniowane w
bob.modelGateway.secretsw plikuconfig.yaml. - Proces instalacji tworzy sekret Kubernetes w klastrze OpenShift.
- Wartości sekretów są wstrzykiwane do usługi wnioskowania Bob.
- Brama modelu rozwiązuje odwołania takie jak
env.<VAR_NAME>ze środowiska uruchomieniowego wewnątrz poda.
Takie podejście gwarantuje, że poufne informacje są przechowywane bezpiecznie i pozostają oddzielone od ustawień konfiguracji modelu.
Zalecany przepływ konfiguracji
Konfiguracja model-gateway.yaml
Utwórz model-gateway.yaml z dostarczonego szablonu i zdefiniuj:
- Punkty końcowe modeli
- Ustawienia dostawców
- Odwołania do zmiennych danych uwierzytelniających
- Odwołania do zmiennych certyfikatów TLS
Na przykład: access_key: env.AWS_ACCESS_KEY
Konfiguracja config.yaml
Utwórz config.yaml z dostarczonego szablonu i dodaj odpowiednie tajne wartości w sekcji bob.modelGateway.secrets. Na przykład:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Wdrożenie konfiguracji
Zainstaluj lub zaktualizuj Bob przy użyciu skonfigurowanych plików. Podczas wdrożenia Bob stosuje konfigurację infrastruktury z config.yaml i ładuje konfigurację bramy modelu z model-gateway.yaml.
Operator Bob zarządza łącznością między Bob a punktami końcowymi modeli. Aprowizacja, wdrażanie i obsługa bazowej infrastruktury do serwowania modeli wykracza poza zakres operatora Bob.