Model Gateway 개요
Bob 온프레미스에서 model-gateway.yaml 및 config.yaml 파일을 사용하여 Model Gateway 액세스를 위한 모델 엔드포인트, 자격 증명, TLS 인증서를 안전하게 구성하는 방법을 알아봅니다.
외부 및 제공자 호스팅 모델에 대한 액세스를 활성화하기 위해 Bob 온프레미스는 모델 라우팅 설정과 민감한 자격 증명 및 인증서를 분리하는 2개 파일 구성 방식을 사용합니다. model-gateway.yaml 파일은 모델 엔드포인트, 제공자 구성 및 자격 증명/인증서 변수에 대한 참조를 정의하며, config.yaml은 해당하는 시크릿 값을 저장합니다. 이러한 분리는 보안을 강화하고 자격 증명 관리를 단순화하며 환경 전반에 걸쳐 일관된 배포를 지원합니다.
구성 파일 이해
Bob 온프레미스의 모델 액세스를 구성하려면 함께 작동하는 두 개의 구성 파일이 필요합니다. 이 방식은 모델 구성과 민감한 정보를 분리하여 자격 증명과 인증서를 안전하게 관리할 수 있도록 돕습니다.
model-gateway.yaml 파일은 모델 엔드포인트를 정의하고 자격 증명 및 인증서를 저장하는 변수 이름을 참조합니다. 실제 시크릿 값(API 키, 액세스 토큰, 비밀번호 및 TLS 인증서)은 config.yaml에 별도로 저장됩니다.
| 파일 | 목적 | 내용 | 사용 시기 |
|---|---|---|---|
model-gateway.yaml (모델 라우팅 사양) | Model Gateway의 모델 라우팅 및 연결 설정을 정의합니다. | 모델 엔드포인트 및 제공자 라우팅 블록, 자격 증명에 대한 변수 이름 포인터(예: api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY), TLS CA 인증서에 대한 변수 이름 포인터(예: ca_cert_pem: env.CA_CERT). 환경 변수 이름은 bob.modelGateway.secrets에 동일한 이름이 정의되어 있는 한 어떤 이름이든 사용할 수 있습니다. 이 파일에 실제 시크릿을 저장하지 마세요. | config-model-gateway-template.yaml에서 생성하여 모델 엔드포인트와 자격 증명 및 TLS 인증서의 변수 이름을 지정합니다. |
config.yaml (기본 설치 및 시크릿) | Model Gateway에서 사용하는 실제 시크릿 값을 저장합니다. | model-gateway.yaml에 정의된 변수 이름에 매핑된 API 키, 액세스 토큰, 비밀번호 및 PEM 인코딩된 TLS 인증서. | 배포 전에 bob.modelGateway.secrets 아래에 필요한 자격 증명 및 인증서 값을 이 파일에 입력합니다. |
시크릿 관리 방식
로컬 워크스테이션에서 환경 변수를 생성하거나 내보낼 필요가 없습니다.
Bob 설치를 실행할 때:
- Bob은
config.yaml내의bob.modelGateway.secrets에 정의된 값을 읽습니다. - 설치 프로세스가 OpenShift 클러스터에 Kubernetes 시크릿을 생성합니다.
- 시크릿 값이 Bob Inference 서비스에 주입됩니다.
- Model Gateway는 파드 내부의 런타임 환경에서
env.<VAR_NAME>과 같은 참조를 확인합니다.
이 방식을 통해 민감한 정보가 안전하게 저장되고 모델 구성 설정과 분리된 상태를 유지할 수 있습니다.
권장 구성 워크플로
model-gateway.yaml 구성
제공된 템플릿에서 model-gateway.yaml을 생성하고 다음을 정의합니다:
- 모델 엔드포인트
- 제공자 설정
- 자격 증명 변수 참조
- TLS 인증서 변수 참조
예: access_key: env.AWS_ACCESS_KEY
config.yaml 구성
제공된 템플릿에서 config.yaml을 생성하고 bob.modelGateway.secrets 아래에 해당 시크릿 값을 추가합니다. 예:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"구성 배포
구성된 파일을 사용하여 Bob을 설치하거나 업데이트합니다. 배포 중에 Bob은 config.yaml의 인프라 구성을 적용하고 model-gateway.yaml에서 Model Gateway 구성을 로드합니다.
Bob 오퍼레이터는 Bob과 모델 엔드포인트 간의 연결을 관리합니다. 기본 모델 서빙 인프라의 프로비저닝, 배포 및 운영은 Bob 오퍼레이터의 범위를 벗어납니다.