Descripción general del gateway de modelos
Aprende cómo Bob on-premises usa los archivos model-gateway.yaml y config.yaml para configurar de forma segura los endpoints de modelos, las credenciales y los certificados TLS para el acceso al gateway de modelos.
Para habilitar el acceso a modelos externos y alojados por proveedores, Bob on-premises usa un enfoque de configuración de dos archivos que separa los ajustes de enrutamiento de modelos de las credenciales y los certificados confidenciales. El archivo model-gateway.yaml define los endpoints de modelos, las configuraciones de proveedores y las referencias a las variables de credenciales y certificados, mientras que config.yaml almacena los valores secretos correspondientes. Esta separación mejora la seguridad, simplifica la gestión de credenciales y facilita un despliegue consistente entre entornos.
Entender los archivos de configuración
La configuración del acceso a modelos para Bob on-premises requiere dos archivos de configuración que trabajan juntos. Este enfoque separa la configuración de modelos de la información confidencial, lo que te ayuda a gestionar las credenciales y los certificados de forma segura.
El archivo model-gateway.yaml define los endpoints de modelos y hace referencia a los nombres de las variables que almacenan las credenciales y los certificados. Los valores secretos reales — claves API, tokens de acceso, contraseñas y certificados TLS — se almacenan por separado en config.yaml.
| Archivo | Propósito | Contenido | Cuándo usarlo |
|---|---|---|---|
model-gateway.yaml (Especificación de enrutamiento de modelos) | Define el enrutamiento de modelos y los ajustes de conexión para el gateway de modelos. | Endpoints de modelos y bloques de enrutamiento de proveedores; punteros al nombre de variable para las credenciales (por ejemplo, api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); puntero al nombre de variable para los certificados CA de TLS (por ejemplo, ca_cert_pem: env.CA_CERT). Los nombres de variables de entorno pueden ser cualquier nombre, siempre que el mismo nombre esté definido en bob.modelGateway.secrets. No almacenes secretos reales en este archivo. | Créalo a partir de config-model-gateway-template.yaml para especificar los endpoints de modelos y los nombres de variables para las credenciales y los certificados TLS. |
config.yaml (Instalación principal y secretos) | Almacena los valores secretos reales que usa el gateway de modelos. | Claves API, tokens de acceso, contraseñas y certificados TLS codificados en PEM mapeados a los nombres de variables definidos en model-gateway.yaml. | Rellena este archivo con los valores de credenciales y certificados requeridos antes del despliegue, bajo bob.modelGateway.secrets. |
Cómo se gestionan los secretos
No necesitas crear ni exportar variables de entorno en tu estación de trabajo local.
Al ejecutar la instalación de Bob:
- Bob lee los valores definidos en
bob.modelGateway.secretsdentro deconfig.yaml. - El proceso de instalación crea un secreto de Kubernetes en el clúster de OpenShift.
- Los valores secretos se inyectan en el servicio de inferencia de Bob.
- El gateway de modelos resuelve las referencias como
env.<VAR_NAME>desde el entorno de ejecución dentro del pod.
Este enfoque garantiza que la información confidencial se almacene de forma segura y permanezca separada de los ajustes de configuración de modelos.
Flujo de configuración recomendado
Configurar model-gateway.yaml
Crea model-gateway.yaml a partir de la plantilla proporcionada y define:
- Endpoints de modelos
- Ajustes del proveedor
- Referencias a variables de credenciales
- Referencias a variables de certificados TLS
Por ejemplo: access_key: env.AWS_ACCESS_KEY
Configurar config.yaml
Crea config.yaml a partir de la plantilla proporcionada y añade los valores secretos correspondientes bajo bob.modelGateway.secrets. Por ejemplo:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Desplegar la configuración
Instala o actualiza Bob usando los archivos configurados. Durante el despliegue, Bob aplica la configuración de infraestructura de config.yaml y carga la configuración del gateway de modelos desde model-gateway.yaml.
El operador de Bob gestiona la conectividad entre Bob y tus endpoints de modelos. El aprovisionamiento, despliegue y operación de la infraestructura subyacente de servicio de modelos está fuera del alcance del operador de Bob.