Ikhtisar Model Gateway
Pelajari bagaimana Bob on-premises menggunakan file model-gateway.yaml dan config.yaml untuk mengonfigurasi endpoint model, kredensial, dan sertifikat TLS secara aman untuk akses Model Gateway.
Untuk mengaktifkan akses ke model eksternal dan yang di-host penyedia, Bob on-premises menggunakan pendekatan konfigurasi dua file yang memisahkan pengaturan routing model dari kredensial dan sertifikat sensitif. File model-gateway.yaml mendefinisikan endpoint model, konfigurasi penyedia, dan referensi ke variabel kredensial serta sertifikat, sementara config.yaml menyimpan nilai rahasia (secret) yang sesuai. Pemisahan ini meningkatkan keamanan, menyederhanakan pengelolaan kredensial, dan mendukung deployment yang konsisten di seluruh lingkungan.
Memahami file konfigurasi
Mengonfigurasi akses model untuk Bob on-premises memerlukan dua file konfigurasi yang bekerja bersama. Pendekatan ini memisahkan konfigurasi model dari informasi sensitif, membantu kamu mengelola kredensial dan sertifikat dengan aman.
File model-gateway.yaml mendefinisikan endpoint model dan merujuk nama variabel yang menyimpan kredensial dan sertifikat. Nilai rahasia sebenarnya — API key, access token, password, dan sertifikat TLS — disimpan secara terpisah di config.yaml.
| File | Tujuan | Isi | Kapan digunakan |
|---|---|---|---|
model-gateway.yaml (Spesifikasi Routing Model) | Mendefinisikan pengaturan routing dan koneksi model untuk Model Gateway. | Endpoint model dan blok routing penyedia; penunjuk nama variabel untuk kredensial (misalnya, api_key: env.BOB_AZURE_API_KEY, access_key_id: env.AWS_ACCESS_KEY); penunjuk nama variabel untuk sertifikat CA TLS (misalnya, ca_cert_pem: env.CA_CERT). Nama environment variable dapat berupa nama apa pun, asalkan nama yang sama didefinisikan di bob.modelGateway.secrets. Jangan simpan secret sebenarnya di file ini. | Buat dari config-model-gateway-template.yaml untuk menentukan endpoint model dan nama variabel untuk kredensial serta sertifikat TLS. |
config.yaml (Instalasi Utama & Secret) | Menyimpan nilai rahasia sebenarnya yang digunakan oleh Model Gateway. | API key, access token, password, dan sertifikat TLS berformat PEM yang dipetakan ke nama variabel yang didefinisikan di model-gateway.yaml. | Isi file ini dengan kredensial dan nilai sertifikat yang diperlukan sebelum deployment di bawah bob.modelGateway.secrets. |
Bagaimana secret dikelola
Kamu tidak perlu membuat atau mengekspor environment variable di workstation lokalmu.
Saat kamu menjalankan instalasi Bob:
- Bob membaca nilai yang didefinisikan di
bob.modelGateway.secretsdalamconfig.yaml. - Proses instalasi membuat Kubernetes secret di cluster OpenShift.
- Nilai secret disuntikkan ke dalam layanan Bob Inference.
- Model Gateway menyelesaikan referensi seperti
env.<VAR_NAME>dari environment runtime di dalam pod.
Pendekatan ini memastikan bahwa informasi sensitif disimpan secara aman dan tetap terpisah dari pengaturan konfigurasi model.
Alur kerja konfigurasi yang direkomendasikan
Konfigurasikan model-gateway.yaml
Buat model-gateway.yaml dari template yang disediakan dan definisikan:
- Endpoint model
- Pengaturan penyedia
- Referensi variabel kredensial
- Referensi variabel sertifikat TLS
Misalnya: access_key: env.AWS_ACCESS_KEY
Konfigurasikan config.yaml
Buat config.yaml dari template yang disediakan dan tambahkan nilai rahasia yang sesuai di bawah bob.modelGateway.secrets. Misalnya:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"Deploy konfigurasi
Instal atau perbarui Bob menggunakan file yang telah dikonfigurasi. Selama deployment, Bob menerapkan konfigurasi infrastruktur dari config.yaml dan memuat konfigurasi Model Gateway dari model-gateway.yaml.
Bob Operator mengelola konektivitas antara Bob dan endpoint modelmu. Penyediaan, deployment, dan pengoperasian infrastruktur model serving yang mendasarinya berada di luar cakupan Bob Operator.