Visão geral do Model Gateway
Saiba como o Bob on-premises usa os arquivos model-gateway.yaml e config.yaml para configurar de forma segura endpoints de modelo, credenciais e certificados TLS para acesso ao Model Gateway.
Para habilitar o acesso a modelos externos e hospedados por provedores, o Bob on-premises usa uma abordagem de configuração com dois arquivos que separa as configurações de roteamento de modelo das credenciais e certificados sensíveis. O arquivo model-gateway.yaml define os endpoints de modelo, as configurações do provedor e as referências às variáveis de credenciais e certificados, enquanto o config.yaml armazena os valores secretos correspondentes. Essa separação melhora a segurança, simplifica o gerenciamento de credenciais e suporta implantação consistente entre ambientes.
Entendendo os arquivos de configuração
Configurar o acesso a modelos para o Bob on-premises requer dois arquivos de configuração que trabalham juntos. Essa abordagem separa a configuração do modelo das informações sensíveis, ajudando a gerenciar credenciais e certificados com segurança.
O arquivo model-gateway.yaml define os endpoints de modelo e referencia os nomes das variáveis que armazenam credenciais e certificados. Os valores secretos reais — chaves de API, tokens de acesso, senhas e certificados TLS — são armazenados separadamente no config.yaml.
| Arquivo | Finalidade | Conteúdo | Quando usar |
|---|---|---|---|
model-gateway.yaml (Especificação de Roteamento de Modelo) | Define o roteamento de modelo e as configurações de conexão para o Model Gateway. | Endpoints de modelo e blocos de roteamento de provedores; ponteiros de nome de variável para credenciais (por exemplo, api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); ponteiro de nome de variável para certificados CA TLS (por exemplo, ca_cert_pem: env.CA_CERT). Os nomes das variáveis de ambiente podem ser qualquer nome, desde que o mesmo nome esteja definido em bob.modelGateway.secrets. Não armazene segredos reais neste arquivo. | Crie a partir de config-model-gateway-template.yaml para especificar os endpoints de modelo e os nomes de variáveis para credenciais e certificados TLS. |
config.yaml (Instalação Principal e Segredos) | Armazena os valores secretos reais usados pelo Model Gateway. | Chaves de API, tokens de acesso, senhas e certificados TLS codificados em PEM mapeados para os nomes de variáveis definidos em model-gateway.yaml. | Preencha este arquivo com os valores de credenciais e certificados necessários antes da implantação, em bob.modelGateway.secrets. |
Como os segredos são gerenciados
Não é necessário criar ou exportar variáveis de ambiente na sua estação de trabalho local.
Quando você executa a instalação do Bob:
- O Bob lê os valores definidos em
bob.modelGateway.secretsdentro doconfig.yaml. - O processo de instalação cria um secret do Kubernetes no cluster OpenShift.
- Os valores do secret são injetados no serviço Bob Inference.
- O Model Gateway resolve referências como
env.<VAR_NAME>a partir do ambiente de runtime dentro do pod.
Essa abordagem garante que as informações sensíveis sejam armazenadas com segurança e permaneçam separadas das configurações do modelo.
Fluxo de trabalho de configuração recomendado
Configurar model-gateway.yaml
Crie o model-gateway.yaml a partir do template fornecido e defina:
- Endpoints de modelo
- Configurações do provedor
- Referências de variáveis de credenciais
- Referências de variáveis de certificados TLS
Por exemplo: access_key: env.AWS_ACCESS_KEY
Configurar config.yaml
Crie o config.yaml a partir do template fornecido e adicione os valores secretos correspondentes em bob.modelGateway.secrets. Por exemplo:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Implantar a configuração
Instale ou atualize o Bob usando os arquivos configurados. Durante a implantação, o Bob aplica a configuração de infraestrutura do config.yaml e carrega a configuração do Model Gateway do model-gateway.yaml.
O operador Bob gerencia a conectividade entre o Bob e seus endpoints de modelo. O provisionamento, a implantação e a operação da infraestrutura de serviço de modelo subjacente estão fora do escopo do operador Bob.