Kurulum öncesi doğrulama
Şirket içi Bob'u dağıtmadan önce Model Gateway sorunlarını belirlemek ve çözmek için kurulumdan önce model bağlantısını, kimlik bilgilerini, sertifikaları ve yapılandırma ayarlarını doğrulayın.
Bob on-premises'i kurmadan önce, model endpoint'lerinizin, kimlik doğrulama bilgilerinizin, TLS sertifikalarınızın ve Model Gateway yapılandırmanızın doğru şekilde yapılandırıldığını ve hedef OpenShift kümesinden erişilebilir olduğunu doğrulayın. Bu doğrulama kontrollerinin gerçekleştirilmesi; dağıtımdan önce bağlantı sorunlarını, geçersiz kimlik bilgilerini, sertifika güven problemlerini ve yapılandırma hatalarını belirlemeye yardımcı olarak kurulum arızalarını ve sorun giderme çabasını azaltır.
Eksik yapılandırmaları erkenden yakalamak için bobctl install komutunu çalıştırmadan önce bu kontrol listesini uygulayın.
Model endpoint'lerine bağlantı testi
Herhangi bir Bob bileşeni dağıtılmadan önce OpenShift kümesinin her bir model endpoint'ine erişebildiğini onaylayın. Hedef namespace'te geçici bir hata ayıklama (debug) pod'u başlatın ve HTTPS erişilebilirliğini doğrudan test edin:
# openai_compatible
oc run curl-test --image=curlimages/curl --restart=Never --rm -it -- \
curl -v https://<model-endpoint>/v1/models
# bedrock
oc run curl-test --image=curlimages/curl --restart=Never --rm -it -- \
curl -k https://bedrock.<AWS_REGION>.amazonaws.com/foundation-models \
--aws-sigv4 "aws:amz:${REGION}:bedrock" \
--user "$AWS_ACCESS_KEY_ID:$AWS_SECRET_ACCESS_KEY"openai_compatible endpoint'leri için, model gateway yapılandırmanızdaki base_url değerine karşı test edin. Air-gapped veya özel altyapılar için, tasarım gereği harici erişilebilirlik olmadığından bağlantıyı doğrulamanın tek yolu budur.
Kimlik doğrulama doğrulaması
Kimlik bilgilerini config.yaml içinde secret olarak kodlamadan önce doğrulayın. Hatalı bir kimlik bilgisi, genellikle anlaşılması güç bir log mesajıyla birlikte başarısız bir Inference Service başlatmasına neden olur.
-
openai_compatible— API anahtarını doğrudan bir debug pod'undan test edin:curl -s https://<base_url>/v1/models \ -H "Authorization: Bearer <api_key>" | jq '.data[].id' -
bedrock—AWS_ACCESS_KEYveAWS_SECRET_ACCESS_KEYdeğerleriniconfig.yamldosyasına eklemeden önce AWS CLI kullanarak doğrulayın:aws bedrock list-foundation-models --region us-east-1 -
vertex—GEMINI_CREDENTIALSbase64 değerinin kodunu çözün ve sağlamadan önce geçerli bir servis hesabı (service-account) JSON'u olduğunu onaylayın:base64 -d <<< "$GEMINI_CREDENTIALS" | jq '.type' # Beklenen çıktı: "service_account"
TLS sertifikası doğrulama
Bir openai_compatible endpoint ile ca_cert_pem kullanıyorsanız, sertifikayı bir secret olarak sağlamadan önce doğrulayın.
Sertifikanın PEM kodlu olduğunu ve süresinin dolmadığını doğrulayın:
echo "<cert content>" | openssl x509 -noout -datesSertifikanın endpoint'in CA zinciriyle eşleştiğini onaylayın:
openssl s_client -connect <host>:<port> -CAfile ca.peminsecure_skip_verify: true yalnızca ilk bağlantı hata ayıklaması sırasında geçici olarak kullanılabilir. Canlıya geçmeden önce kaldırın. ca_cert_pem bob.modelGateway.secrets içinde bulunmayan bir ortam değişkenine referans verirse, Inference Service başarıyla başlar ancak çıkarım sırasında TLS başarısız olur.
Model keşfi doğrulaması
Sağlayıcı bloğunuzdaki model ID'sinin sağlayıcının sunduğuyla tam olarak eşleştiğini onaylayın. Uyuşmazlık, başlangıçta değil çıkarım zamanında 404 veya model-bulunamadı hatasıyla sonuçlanır.
openai_compatible endpoint'leri için, kurulumdan önce mevcut model ID'lerini kontrol edin:
curl -s https://<base_url>/v1/models \
-H "Authorization: Bearer <api_key>" | jq '.data[].id'Yaygın yanlış yapılandırma kontrolleri
| Yanlış yapılandırma | Belirti | Kontrol |
|---|---|---|
Model yapılandırmasındaki secret adı config.yaml secrets bloğundaki anahtarla eşleşmiyor | Kimlik doğrulama başlangıçta değil, istek zamanında başarısız olur | Model yapılandırmasındaki her env.* referansını bob.modelGateway.secrets anahtarlarına karşı karşılaştırın |
GEMINI_CREDENTIALS base64 ile kodlanmamış | Vertex sağlayıcısı başlangıçta kimlik bilgilerini ayrıştıramaz | base64 -d <<< "$VALUE" komutunu çalıştırın ve "type": "service_account" içeren geçerli bir JSON olduğunu onaylayın |
base_url sonda bir / veya yol soneki içeriyor | Sağlayıcı 404 döndürür | Sondaki eğik çizgileri kaldırın — ağ geçidi /v1/chat/completions gibi yolları kendisi ekler |
models listesinde yinelenen model_name değerleri | Tanımsız yönlendirme davranışı | Yapılandırma genelinde tüm model_name değerlerinin benzersiz olduğundan emin olun |
bobctl install komutu --model-config olmadan çalıştırıldı | Boş ağ geçidi, çıkarım yok | --model-config bayrağının iletildiğini ve dosyanın belirtilen yolda okunabilir olduğunu onaylayın |
Model yapılandırmasında ca_cert_pem ortam değişkeni tanımlandı ancak secrets içinde eksik | Çıkarım sırasında TLS hatası | Model yapılandırmasındaki her env.* referansını secrets bloğuna karşı çapraz kontrol edin |