설치 후 검증

게이트웨이 상태 확인

Inference Service 파드가 실행 중이고 모든 컨테이너가 준비되었는지 확인합니다:

oc get pods -n <bob-namespace> -l app=bob-inference

게이트웨이 초기화에 대한 시작 로그를 확인합니다. 성공적인 시작 시 구성된 각 모델이 등록되는 로그가 기록됩니다. 자격 증명 또는 구성 구문 분석 오류는 여기서 나타납니다:

oc logs -n <bob-namespace> deploy/bob-inference --since=5m

클러스터 내에서 게이트웨이의 /v1/models 엔드포인트가 응답하는지 확인합니다 — 이는 서비스가 가동 중이고 구성을 로드했음을 나타내는 가장 확실한 신호입니다:

oc exec -n <bob-namespace> deploy/bob-gateway -- \
  curl -sk https://bob-inference.<bob-namespace>.svc.cluster.local:7330/v1/model/info | jq .

모델 연결성 검증

각 예상 model_name에 대해 /v1/models 응답을 확인합니다. 연결에 실패한 모델(잘못된 URL, 인증 오류, TLS 오류)은 목록에 없거나 오류 상태로 표시됩니다.

모델 추론 테스트

핵심 모델과 가드레일 모델 모두에 대해 클러스터 내부에서 Inference Service로 직접 최소 테스트 완료 요청을 전송합니다:

oc exec -n <bob-namespace> deploy/bob-gateway -- \
  curl -sk https://bob-inference.<bob-namespace>.svc.cluster.local:7330/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<model_name>",
    "messages": [{"role": "user", "content": "Say hello."}],
    "max_tokens": 10
  }' | jq .

성공적인 응답에는 message.content 필드가 있는 choices 배열이 포함됩니다.

일반적인 오류:

모델 라우팅 검증

응답의 model 필드가 요청된 model_name과 일치하는지 확인하여 기본 모델이 올바르게 라우팅되는지 확인합니다.

모델 항목에 fallbacks가 구성된 경우 기본 모델의 base_url을 도달할 수 없는 호스트로 임시 지정하고 게이트웨이가 목록의 다음 모델로 대체되는지 확인하여 대체 경로를 검증합니다. 테스트 후 올바른 base_url을 복원하세요.

exposed: false인 모델의 경우 공개 모델 목록에 표시되지 않더라도 내부 라우팅이 여전히 올바르게 확인되는지 확인합니다.

오류 처리 검증

게이트웨이가 장애를 원활하게 처리하는지 확인하기 위해 다음과 같은 의도적인 부정 테스트를 실행합니다:

로그 수집 및 문제 해결

테스트 요청 중에 실시간 로그를 스트리밍하여 게이트웨이 라우팅 결정을 실시간으로 확인합니다:

oc logs -n <bob-namespace> deploy/bob-inference -f

지원팀과 공유하기 위한 전체 로그 덤프를 수집합니다:

oc logs -n <bob-namespace> deploy/bob-inference --since=1h > bob-inference.log

주요 로그 패턴:

이벤트 수준 오류의 경우(예: 컨테이너 시작을 방지하는 시크릿 마운트 실패):

oc describe pod -n <bob-namespace> -l app=inference-service

새 모델이 배포되었는지 확인

새 모델이 배포되어 서비스 중인지 확인합니다. 모델 서빙 인프라를 참조하세요.

Model Gateway 구성 파일 업데이트

새 모델을 참조하도록 model-gateway.yaml을 업데이트합니다. Model Gateway 구성을 참조하세요.

변경 사항 적용

bobctl update-model-config를 사용하여 업데이트된 구성을 적용합니다:

bobctl update-model-config --model-config ./my-model-config.yaml --update-secrets

전체 플래그 참조는 구성 배포를 참조하세요.