IBM Bob

Validazione pre-installazione

Valida la connettività ai modelli, le credenziali, i certificati e le impostazioni di configurazione prima dell'installazione per identificare e risolvere i problemi del Model Gateway prima del deployment di Bob on-premises.

Prima di installare Bob on-premises, verifica che gli endpoint dei tuoi modelli, le credenziali di autenticazione, i certificati TLS e la configurazione del Model Gateway siano configurati correttamente e accessibili dal cluster OpenShift di destinazione. Eseguire questi controlli di validazione aiuta a identificare problemi di connettività, credenziali non valide, problemi di trust dei certificati ed errori di configurazione prima del deployment, riducendo i guasti di installazione e lo sforzo di risoluzione dei problemi.

Esegui questa checklist prima di eseguire bobctl install per individuare presto le configurazioni mancanti.

Test di connettività agli endpoint dei modelli

Conferma che il cluster OpenShift possa raggiungere ogni endpoint del modello prima che qualsiasi componente Bob venga deployato. Avvia un pod di debug temporaneo nel namespace di destinazione e testa direttamente la raggiungibilità HTTPS:

# openai_compatible
oc run curl-test --image=curlimages/curl --restart=Never --rm -it -- \
  curl -v https://<model-endpoint>/v1/models

# bedrock
oc run curl-test --image=curlimages/curl --restart=Never --rm -it -- \
  curl -k https://bedrock.<AWS_REGION>.amazonaws.com/foundation-models \
  --aws-sigv4 "aws:amz:${REGION}:bedrock" \
  --user "$AWS_ACCESS_KEY_ID:$AWS_SECRET_ACCESS_KEY"

Per gli endpoint openai_compatible, testa il valore di base_url dalla configurazione del tuo model gateway. Per le infrastrutture air-gapped o private, questo è l'unico modo per validare la connettività poiché non esiste raggiungibilità esterna per design.

Validazione dell'autenticazione

Valida le credenziali prima di codificarle come secret in config.yaml. Una credenziale errata produce un avvio fallito dell'Inference Service, spesso con un messaggio di log criptico.

  • openai_compatible — testa la chiave API direttamente da un pod di debug:

    curl -s https://<base_url>/v1/models \
  -H "Authorization: Bearer <api_key>" | jq '.data[].id'

  • bedrock — verifica i valori di AWS_ACCESS_KEY e AWS_SECRET_ACCESS_KEY usando la CLI AWS prima di aggiungerli a config.yaml:

    aws bedrock list-foundation-models --region us-east-1

  • vertex — decodifica il valore base64 di GEMINI_CREDENTIALS e conferma che sia un JSON dell'account di servizio valido prima di fornirlo:

    base64 -d <<< "$GEMINI_CREDENTIALS" | jq '.type'
# Expected output: "service_account"

Validazione del certificato TLS

Se si usa ca_cert_pem con un endpoint openai_compatible, valida il certificato prima di fornirlo come secret.

Verifica che il certificato sia codificato in PEM e non scaduto:

echo "<cert content>" | openssl x509 -noout -dates

Conferma che il certificato corrisponda alla catena CA dell'endpoint:

openssl s_client -connect <host>:<port> -CAfile ca.pem
Attenzione:

insecure_skip_verify: true può essere usato temporaneamente solo durante il debug iniziale della connettività. Rimuovilo prima di andare in produzione. Se ca_cert_pem fa riferimento a una variabile d'ambiente non presente in bob.modelGateway.secrets, l'Inference Service si avvia correttamente ma TLS fallisce al momento dell'inference.

Validazione della scoperta del modello

Conferma che l'ID model nel tuo blocco del provider corrisponda esattamente a quello che il provider espone. Una mancata corrispondenza produce un errore 404 o model-not-found al momento dell'inference, non all'avvio.

Per gli endpoint openai_compatible, controlla gli ID dei modelli disponibili prima dell'installazione:

curl -s https://<base_url>/v1/models \
  -H "Authorization: Bearer <api_key>" | jq '.data[].id'

Controlli comuni di errata configurazione

Errata configurazioneSintomoControllo
Il nome del secret nella configurazione del modello non corrisponde alla chiave nel blocco secrets di config.yamlAuth fallisce al momento della richiesta, non all'avvioConfronta ogni riferimento env.* nella configurazione del modello con le chiavi di bob.modelGateway.secrets
GEMINI_CREDENTIALS non codificato in base64Il provider Vertex non riesce ad analizzare le credenziali all'avvioEsegui base64 -d <<< "$VALUE" e conferma che sia JSON valido con "type": "service_account"
base_url include una barra finale o un suffisso del percorsoIl provider restituisce 404Rimuovi le barre finali — il gateway aggiunge percorsi come /v1/chat/completions da solo
Valori model_name duplicati nell'elenco modelsComportamento di routing indefinitoAssicurati che tutti i valori model_name siano univoci nella configurazione
bobctl install eseguito senza --model-configGateway vuoto, nessun inferencingConferma che --model-config venga passato e che il file sia leggibile nel percorso specificato
Variabile d'ambiente ca_cert_pem definita nella configurazione del modello ma mancante da secretsErrore TLS al momento dell'inferenceControlla ogni riferimento env.* nella configurazione del modello rispetto al blocco secrets
Come valuti questo argomento?

In questa pagina

Test di connettività agli endpoint dei modelliValidazione dell'autenticazioneValidazione del certificato TLSValidazione della scoperta del modelloControlli comuni di errata configurazione