Kurulum öncesi doğrulama

Şirket içi Bob'u dağıtmadan önce Model Gateway sorunlarını belirlemek ve çözmek için kurulumdan önce model bağlantısını, kimlik bilgilerini, sertifikaları ve yapılandırma ayarlarını doğrulayın.

Bob on-premises'i kurmadan önce, model endpoint'lerinizin, kimlik doğrulama bilgilerinizin, TLS sertifikalarınızın ve Model Gateway yapılandırmanızın doğru şekilde yapılandırıldığını ve hedef OpenShift kümesinden erişilebilir olduğunu doğrulayın. Bu doğrulama kontrollerinin gerçekleştirilmesi; dağıtımdan önce bağlantı sorunlarını, geçersiz kimlik bilgilerini, sertifika güven problemlerini ve yapılandırma hatalarını belirlemeye yardımcı olarak kurulum arızalarını ve sorun giderme çabasını azaltır.

Eksik yapılandırmaları erkenden yakalamak için bobctl install komutunu çalıştırmadan önce bu kontrol listesini uygulayın.

Model endpoint'lerine bağlantı testi

Herhangi bir Bob bileşeni dağıtılmadan önce OpenShift kümesinin her bir model endpoint'ine erişebildiğini onaylayın. Hedef namespace'te geçici bir hata ayıklama (debug) pod'u başlatın ve HTTPS erişilebilirliğini doğrudan test edin:

# openai_compatible
oc run curl-test --image=curlimages/curl --restart=Never --rm -it -- \
  curl -v https://<model-endpoint>/v1/models

# bedrock
oc run curl-test --image=curlimages/curl --restart=Never --rm -it -- \
  curl -k https://bedrock.<AWS_REGION>.amazonaws.com/foundation-models \
  --aws-sigv4 "aws:amz:${REGION}:bedrock" \
  --user "$AWS_ACCESS_KEY_ID:$AWS_SECRET_ACCESS_KEY"

openai_compatible endpoint'leri için, model gateway yapılandırmanızdaki base_url değerine karşı test edin. Air-gapped veya özel altyapılar için, tasarım gereği harici erişilebilirlik olmadığından bağlantıyı doğrulamanın tek yolu budur.

Kimlik doğrulama doğrulaması

Kimlik bilgilerini config.yaml içinde secret olarak kodlamadan önce doğrulayın. Hatalı bir kimlik bilgisi, genellikle anlaşılması güç bir log mesajıyla birlikte başarısız bir Inference Service başlatmasına neden olur.

  • openai_compatible — API anahtarını doğrudan bir debug pod'undan test edin:

    curl -s https://<base_url>/v1/models \
      -H "Authorization: Bearer <api_key>" | jq '.data[].id'
  • bedrock — AWS_ACCESS_KEY ve AWS_SECRET_ACCESS_KEY değerlerini config.yaml dosyasına eklemeden önce AWS CLI kullanarak doğrulayın:

    aws bedrock list-foundation-models --region us-east-1
  • vertex — GEMINI_CREDENTIALS base64 değerinin kodunu çözün ve sağlamadan önce geçerli bir servis hesabı (service-account) JSON'u olduğunu onaylayın:

    base64 -d <<< "$GEMINI_CREDENTIALS" | jq '.type'
    # Beklenen çıktı: "service_account"

TLS sertifikası doğrulama

Bir openai_compatible endpoint ile ca_cert_pem kullanıyorsanız, sertifikayı bir secret olarak sağlamadan önce doğrulayın.

Sertifikanın PEM kodlu olduğunu ve süresinin dolmadığını doğrulayın:

echo "<cert content>" | openssl x509 -noout -dates

Sertifikanın endpoint'in CA zinciriyle eşleştiğini onaylayın:

openssl s_client -connect <host>:<port> -CAfile ca.pem
Uyarı:

insecure_skip_verify: true yalnızca ilk bağlantı hata ayıklaması sırasında geçici olarak kullanılabilir. Canlıya geçmeden önce kaldırın. ca_cert_pem bob.modelGateway.secrets içinde bulunmayan bir ortam değişkenine referans verirse, Inference Service başarıyla başlar ancak çıkarım sırasında TLS başarısız olur.

Model keşfi doğrulaması

Sağlayıcı bloğunuzdaki model ID'sinin sağlayıcının sunduğuyla tam olarak eşleştiğini onaylayın. Uyuşmazlık, başlangıçta değil çıkarım zamanında 404 veya model-bulunamadı hatasıyla sonuçlanır.

openai_compatible endpoint'leri için, kurulumdan önce mevcut model ID'lerini kontrol edin:

curl -s https://<base_url>/v1/models \
  -H "Authorization: Bearer <api_key>" | jq '.data[].id'

Yaygın yanlış yapılandırma kontrolleri

Yanlış yapılandırmaBelirtiKontrol
Model yapılandırmasındaki secret adı config.yaml secrets bloğundaki anahtarla eşleşmiyorKimlik doğrulama başlangıçta değil, istek zamanında başarısız olurModel yapılandırmasındaki her env.* referansını bob.modelGateway.secrets anahtarlarına karşı karşılaştırın
GEMINI_CREDENTIALS base64 ile kodlanmamışVertex sağlayıcısı başlangıçta kimlik bilgilerini ayrıştıramazbase64 -d <<< "$VALUE" komutunu çalıştırın ve "type": "service_account" içeren geçerli bir JSON olduğunu onaylayın
base_url sonda bir / veya yol soneki içeriyorSağlayıcı 404 döndürürSondaki eğik çizgileri kaldırın — ağ geçidi /v1/chat/completions gibi yolları kendisi ekler
models listesinde yinelenen model_name değerleriTanımsız yönlendirme davranışıYapılandırma genelinde tüm model_name değerlerinin benzersiz olduğundan emin olun
bobctl install komutu --model-config olmadan çalıştırıldıBoş ağ geçidi, çıkarım yok--model-config bayrağının iletildiğini ve dosyanın belirtilen yolda okunabilir olduğunu onaylayın
Model yapılandırmasında ca_cert_pem ortam değişkeni tanımlandı ancak secrets içinde eksikÇıkarım sırasında TLS hatasıModel yapılandırmasındaki her env.* referansını secrets bloğuna karşı çapraz kontrol edin
Bu konu nasıl?