نظرة عامة على بوابة النماذج
تعرّف على كيفية استخدام Bob المحلي لملفي model-gateway.yaml وconfig.yaml لتكوين نقاط نهاية النماذج وبيانات الاعتماد وشهادات TLS بشكل آمن للوصول إلى بوابة النماذج.
لتمكين الوصول إلى النماذج الخارجية وتلك المستضافة لدى موفري الخدمات، يستخدم Bob المحلي نهج تكوين يعتمد على ملفين يفصل بين إعدادات توجيه النماذج وبيانات الاعتماد والشهادات الحساسة. يُحدد ملف model-gateway.yaml نقاط نهاية النماذج وتكوينات الموفرين ومراجع متغيرات بيانات الاعتماد والشهادات، بينما يخزن config.yaml قيم الأسرار المقابلة. يُحسّن هذا الفصل الأمان، ويُبسّط إدارة بيانات الاعتماد، ويدعم النشر المتسق عبر البيئات المختلفة.
فهم ملفات التكوين
يتطلب تكوين الوصول إلى النماذج لـ Bob المحلي ملفي تكوين يعملان معًا. يفصل هذا النهج تكوين النماذج عن المعلومات الحساسة، مما يساعدك على إدارة بيانات الاعتماد والشهادات بأمان.
يُحدد ملف model-gateway.yaml نقاط نهاية النماذج ويشير إلى أسماء المتغيرات التي تخزن بيانات الاعتماد والشهادات. أما قيم الأسرار الفعلية — مفاتيح API ورموز الوصول وكلمات المرور وشهادات TLS — فتُخزن بشكل منفصل في config.yaml.
| الملف | الغرض | المحتويات | متى يُستخدم |
|---|---|---|---|
model-gateway.yaml (مواصفات توجيه النماذج) | يحدد إعدادات توجيه النماذج والاتصال بها لبوابة النماذج (Model Gateway). | نقاط نهاية النماذج وكتل توجيه الموفرين؛ مؤشرات أسماء المتغيرات لبيانات الاعتماد (على سبيل المثال، api_key: env.BOB_AZURE_API_KEY وaccess_key_id: env.AWS_ACCESS_KEY)؛ ومؤشر اسم المتغير لشهادات CA الخاصة بـ TLS (على سبيل المثال، ca_cert_pem: env.CA_CERT). يمكن أن تكون أسماء متغيرات البيئة أي اسم، شريطة تحديد الاسم نفسه في bob.modelGateway.secrets. لا تخزن أسرارًا فعلية في هذا الملف. | أنشئه من config-model-gateway-template.yaml لتحديد نقاط نهاية النماذج وأسماء المتغيرات لبيانات الاعتماد وشهادات TLS. |
config.yaml (التثبيت الرئيسي والأسرار) | يخزن قيم الأسرار الفعلية التي تستخدمها بوابة النماذج (Model Gateway). | مفاتيح API ورموز الوصول وكلمات المرور وشهادات TLS المشفرة بصيغة PEM المعينة لأسماء المتغيرات المحددة في model-gateway.yaml. | املأ هذا الملف ببيانات الاعتماد وقيم الشهادات المطلوبة قبل النشر تحت bob.modelGateway.secrets. |
كيفية إدارة الأسرار
لا تحتاج إلى إنشاء أو تصدير متغيرات البيئة على محطة عملك المحلية.
عند تشغيل تثبيت Bob:
- يقرأ Bob القيم المحددة في
bob.modelGateway.secretsداخلconfig.yaml. - تُنشئ عملية التثبيت سر Kubernetes في مجموعة OpenShift.
- تُحقن قيم الأسرار في خدمة الاستدلال (Inference service) الخاصة بـ Bob.
- تحل بوابة النماذج (Model Gateway) المراجع مثل
env.<VAR_NAME>من بيئة التشغيل داخل الـ pod.
يضمن هذا النهج تخزين المعلومات الحساسة بأمان وبقاءها منفصلة عن إعدادات تكوين النماذج.
سير عمل التكوين الموصى به
تكوين model-gateway.yaml
أنشئ model-gateway.yaml من القالب المتوفر وحدد:
- نقاط نهاية النماذج
- إعدادات الموفرين
- مراجع متغيرات بيانات الاعتماد
- مراجع متغيرات شهادات TLS
على سبيل المثال: access_key: env.AWS_ACCESS_KEY
تكوين config.yaml
أنشئ config.yaml من القالب المتوفر وأضف قيم الأسرار المقابلة تحت bob.modelGateway.secrets. على سبيل المثال:
bob:
modelGateway:
secrets:
AWS_ACCESS_KEY: "<actual-access-key>"نشر التكوين
ثبّت Bob أو حدّثه باستخدام الملفات المهيأة. أثناء النشر، يطبق Bob تكوين البنية التحتية من config.yaml ويحمّل تكوين بوابة النماذج من model-gateway.yaml.
يدير Bob Operator الاتصال بين Bob ونقاط نهاية النماذج الخاصة بك. يعد توفير البنية التحتية الأساسية لخدمة النماذج ونشرها وتشغيلها خارج نطاق Bob Operator.