Model Gateway'e genel bakış
Bob on-premises'in Model Gateway erişimi için model endpoint'lerini, kimlik bilgilerini ve TLS sertifikalarını güvenli bir şekilde yapılandırmak üzere model-gateway.yaml ve config.yaml dosyalarını nasıl kullandığını öğrenin.
Harici ve sağlayıcı tarafından barındırılan modellere erişimi etkinleştirmek için Bob on-premises, model yönlendirme ayarlarını hassas kimlik bilgilerinden ve sertifikalardan ayıran iki dosyalı bir yapılandırma yaklaşımı kullanır. model-gateway.yaml dosyası model endpoint'lerini, sağlayıcı yapılandırmalarını ve kimlik bilgisi ile sertifika değişkenlerine yapılan referansları tanımlarken, config.yaml ilgili gizli (secret) değerleri saklar. Bu ayrım güvenliği artırır, kimlik bilgisi yönetimini basitleştirir ve ortamlar arasında tutarlı dağıtımı destekler.
Yapılandırma dosyalarını anlama
Bob on-premises için model erişimini yapılandırmak, birlikte çalışan iki yapılandırma dosyası gerektirir. Bu yaklaşım, model yapılandırmasını hassas bilgilerden ayırarak kimlik bilgilerini ve sertifikaları güvenli bir şekilde yönetmenize yardımcı olur.
model-gateway.yaml dosyası, model endpoint'lerini tanımlar ve kimlik bilgilerini ve sertifikaları saklayan değişkenlerin adlarına referans verir. Gerçek gizli değerler — API anahtarları, erişim belirteçleri (access tokens), parolalar ve TLS sertifikaları — ayrı olarak config.yaml içinde saklanır.
| Dosya | Amaç | İçerik | Ne zaman kullanılır |
|---|---|---|---|
model-gateway.yaml (Model Yönlendirme Belirtimi) | Model Gateway için model yönlendirme ve bağlantı ayarlarını tanımlar. | Model endpoint'leri ve sağlayıcı yönlendirme blokları; kimlik bilgileri için değişken adı işaretçileri (örneğin, api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); TLS CA sertifikaları için değişken adı işaretçisi (örneğin, ca_cert_pem: env.CA_CERT). Ortam değişkeni adları, aynı ad bob.modelGateway.secrets altında tanımlandığı sürece herhangi bir ad olabilir. Bu dosyada gerçek gizli bilgileri saklamayın. | Model endpoint'lerini ve kimlik bilgileri ile TLS sertifikaları için değişken adlarını belirtmek üzere config-model-gateway-template.yaml dosyasından oluşturun. |
config.yaml (Ana Kurulum ve Secret'lar) | Model Gateway tarafından kullanılan gerçek gizli değerleri saklar. | model-gateway.yaml içinde tanımlanan değişken adlarıyla eşleştirilmiş API anahtarları, erişim belirteçleri, parolalar ve PEM kodlu TLS sertifikaları. | Dağıtımdan önce bu dosyayı bob.modelGateway.secrets altında gerekli kimlik bilgileri ve sertifika değerleriyle doldurun. |
Secret'lar nasıl yönetilir
Yerel iş istasyonunuzda ortam değişkenleri oluşturmanız veya dışa aktarmanız (export) gerekmez.
Bob kurulumunu çalıştırdığınızda:
- Bob,
config.yamliçindekibob.modelGateway.secretsaltında tanımlanan değerleri okur. - Kurulum süreci, OpenShift kümesinde bir Kubernetes secret'ı oluşturur.
- Gizli değerler Bob Inference servisine enjekte edilir.
- Model Gateway, pod içindeki çalışma zamanı ortamından
env.<VAR_NAME>gibi referansları çözer.
Bu yaklaşım, hassas bilgilerin güvenli bir şekilde saklanmasını ve model yapılandırma ayarlarından ayrı kalmasını sağlar.
Önerilen yapılandırma iş akışı
model-gateway.yaml dosyasını yapılandırın
Sağlanan şablondan model-gateway.yaml dosyasını oluşturun ve şunları tanımlayın:
- Model endpoint'leri
- Sağlayıcı ayarları
- Kimlik bilgisi değişkeni referansları
- TLS sertifikası değişkeni referansları
Örneğin: access_key: env.AWS_ACCESS_KEY
config.yaml dosyasını yapılandırın
Sağlanan şablondan config.yaml dosyasını oluşturun ve ilgili gizli değerleri bob.modelGateway.secrets altına ekleyin. Örneğin:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Yapılandırmayı dağıtın
Yapılandırılan dosyaları kullanarak Bob'u kurun veya güncelleyin. Dağıtım sırasında Bob, config.yaml dosyasındaki altyapı yapılandırmasını uygular ve model-gateway.yaml dosyasından Model Gateway yapılandırmasını yükler.
Bob Operatörü, Bob ile model endpoint'leriniz arasındaki bağlantıyı yönetir. Temeldeki model sunum altyapısını sağlamak, dağıtmak ve işletmek Bob Operatörünün kapsamı dışındadır.