النماذج المطلوبة والمدعومة
تعرّف على النماذج المطلوبة لـ Bob ذاتي الاستضافة، بما في ذلك نماذج الاستدلال الأساسية المدعومة ونماذج الحراسة وميزات الأمان الخاصة بموفري الخدمات والمستخدمة لتمكين القدرات المدعومة بالذكاء الاصطناعي.
يتطلب Bob ذاتي الاستضافة الوصول إلى نموذج استدلال أساسي مدعوم لتوفير قدرات توليد الأكواد والشروحات والدردشة والمساعد الذكي. بناءً على متطلبات النشر لديك، يمكنك ربط Bob بنماذج معزولة عن الشبكة (air-gapped) مستضافة داخل بيئتك أو نماذج رائدة (frontier models) يتم الوصول إليها عبر موفري الخدمات السحابية. ولتعزيز الأمان والامتثال للسياسات، توصي IBM بتكوين نموذج حراسة (guardrail model) أو استخدام قدرات الحراسة الأصلية الخاصة بموفر الخدمة.
النماذج المطلوبة
قبل تثبيت Bob، تأكد من نشر النماذج التالية وإمكانية الوصول إليها.
| دور النموذج | الغرض |
|---|---|
| نموذج الاستدلال الأساسي | يعالج توليد الأكواد والشروحات وطلبات الدردشة وتفاعلات المساعد الذكي. |
| نموذج الحراسة | يفحص المدخلات والمخرجات للأمان والامتثال للسياسات. يوصى بشدة باستخدام نموذج حراسة. |
هيّئ نموذج استدلال أساسي واحد فقط في المرة الواحدة.
يوصى بشدة باستخدام نموذج حراسة لجميع عمليات النشر. لعمليات النشر المعزولة عن الشبكة، استخدم openai/gpt-oss-20b. عند تكوينه، يوجه Bob طلبات تقييم الأمان والسياسات تلقائيًا عبر خدمة الحراسة.
النماذج المدعومة
تتوفر نماذج الاستدلال الأساسية التالية للاستخدام مع IBM Bob ذاتي الاستضافة. هيّئ نموذج استدلال أساسي واحد في بوابة النماذج (Model Gateway). تشغيل عدة نماذج استدلال أساسية في الوقت نفسه غير مدعوم.
للحصول على أفضل النتائج في مهام IBM Z المعقدة، مثل إعادة هيكلة COBOL المعمّقة وتحليل PL/I وتحويلات الكود متعددة الملفات، تقدّم النماذج الحدودية مثل Claude Sonnet أعلى مستوى من الاستدلال والدقة وجودة التوليد.
- النماذج الحدودية (موصى بها): الأنسب لأعباء عمل IBM Z المؤسسية التي تتطلب استدلالاً متقدماً وفهماً للسياق الواسع وتوليداً متعدد الخطوات للكود.
- النماذج مفتوحة الأوزان المستضافة ذاتياً: مثالية للامتثال الصارم للفصل الهوائي والمساعدة القياسية في البرمجة. بالنسبة لأنماط لغة الحاسب المركزي المعقدة، قد تستفيد النتائج من ضبط الموجّهات المستهدفة والسياق الخاص بالمجال.
النماذج المعزولة عن الشبكة (Air-gapped)
تعتمد متطلبات الموارد (وحدة المعالجة المركزية CPU، والذاكرة RAM، وGPU/VRAM، وتحديد حجم التزامن) على تكميم النموذج (quantization)، وطول السياق، وبيئة تشغيل الخدمة (مثل vLLM أو TGI)، والإنتاجية المستهدفة. راجع وثائق المنتج للاطلاع على مواصفات العتاد وأدلة النشر.
| النموذج | المرجع |
|---|---|
| Mistral Medium 3.5 | وثائق Mistral AI / Mistral Medium 3.5 |
| Nvidia Nemotron 3 Ultra | وثائق NVIDIA Nemotron / Nemotron 3 Ultra FP4 / Nemotron 3 Ultra FP8 |
| Poolside Laguna S 2.1 | وثائق Poolside Laguna-S-2.1-FP8 / وثائق Poolside Laguna-S-2.1-NVFP4 / نماذج Poolside Laguna |
يمكنك استخدام Mistral Medium 3.5 فقط إذا كنت تستخدم IBM Bob Premium Package for Z. وهو غير متاح لعمليات النشر العامة ذاتية الاستضافة لـ Bob.
النماذج الرائدة (Frontier models)
يتم الوصول إلى النماذج السحابية الرائدة عبر واجهات برمجة التطبيقات المدارة من قبل الموفرين (مثل AWS Bedrock أو Google Cloud Vertex AI أو Azure OpenAI). راجع وثائق المنتج لمعرفة توفر الخدمة والحصص وحدود المعدل وتكوين نقاط النهاية.
| النموذج | المرجع |
|---|---|
| Claude Sonnet 5 | وثائق Anthropic Claude / AWS Bedrock |
| Claude Opus 4.8 | وثائق Anthropic Claude / AWS Bedrock |
| Google Gemini 3.7 Flash | وثائق Google Cloud Vertex AI |
| OpenAI GPT5.6 Sol | وثائق Azure OpenAI Service |
حواجز الحماية الخاصة بموفري الخدمات (Provider guardrails)
يوصى بشدة باستخدام نموذج حراسة للأمان وتصفية السمية وفحص السياسات عبر جميع المدخلات والمخرجات. راجع مستودع النموذج ووثائق بيئة تشغيل الخدمة لمعرفة تفاصيل النشر وإرشادات العتاد.
| النموذج | المرجع | الوصف |
|---|---|---|
openai/gpt-oss-20b | Hugging Face Model Hub / وثائق OpenAI | مطلوب للأمان وفحص السياسات |
بالنسبة للنماذج المعزولة عن الشبكة، استخدم openai/gpt-oss-20b لتطبيق حواجز الحماية. بعد تكوين نموذج الحراسة هذا، يتم تكوين عملاء IDE وBob Shell تلقائيًا لاستخدامه في تصفية المحتوى.
حواجز الحماية للنماذج الرائدة
عند استخدام النماذج الرائدة، يمكنك استخدام إمكانية الحراسة الخاصة بموفر الخدمة بدلاً من نموذج الحراسة openai/gpt-oss-20b.
حواجز حماية AWS Bedrock
أنشئ حاجز حماية في Bedrock واحصل على guardrailId والإصدار الخاص به. للحصول على إرشادات، راجع وثائق حواجز حماية Bedrock ومرجع واجهة برمجة التطبيقات CreateGuardrail. أضف تكوين حاجز الحماية تحت chat_inference_params لنموذج Bedrock:
- model_name: bedrock-model
bedrock:
model: <bedrock-model-id>
access_key_id: env.AWS_ACCESS_KEY
region: us-east-1
secret_access_key: env.AWS_SECRET_ACCESS_KEY
model_info:
exposed: true
max_input_tokens: 270000
max_output_tokens: 20000
chat_inference_params:
guardrailConfig:
guardrailIdentifier: <guardrail-id>
guardrailVersion: <version-number-or-DRAFT>Google Vertex AI
هيّئ مرشحات الأمان لـ Vertex AI في chat_inference_params. راجع وثائق مرشحات أمان Vertex AI.
| الفئات المدعومة | الحدود المدعومة |
|---|---|
HARM_CATEGORY_SEXUALLY_EXPLICIT، HARM_CATEGORY_HATE_SPEECH، HARM_CATEGORY_HARASSMENT، HARM_CATEGORY_DANGEROUS_CONTENT | BLOCK_NONE، BLOCK_ONLY_HIGH، BLOCK_MEDIUM_AND_ABOVE (افتراضي)، BLOCK_LOW_AND_ABOVE (الأكثر صرامة) |
- model_name: gemini-model
vertex:
model: gemini-model
project: <project-id>
location: global
credentials: env.GEMINI_CREDENTIALS
model_info:
max_input_tokens: 270000
max_output_tokens: 20000
exposed: false
chat_inference_params:
safetySettings:
- category: HARM_CATEGORY_HATE_SPEECH
threshold: BLOCK_MEDIUM_AND_ABOVE
- category: HARM_CATEGORY_HARASSMENT
threshold: BLOCK_ONLY_HIGH
- category: HARM_CATEGORY_SEXUALLY_EXPLICIT
threshold: BLOCK_LOW_AND_ABOVE
- category: HARM_CATEGORY_DANGEROUS_CONTENT
threshold: BLOCK_LOW_AND_ABOVEAzure OpenAI
في Azure، أنشئ مرشح محتوى وقم بتعيينه لنشر النموذج؛ ولا يلزم إجراء أي تغييرات على تكوين بوابة النماذج. راجع وثائق تصفية محتوى Azure OpenAI. لتطبيق سياسة عند وقت الطلب بدلاً من ذلك، هيّئ الترويسة x-policy-id:
- model_name: gpt-model
openai_compatible:
model: openai/gpt-model
base_url: https://<endpoint>.azure.com/openai
api_key: env.AZURE_API_KEY
extra_headers:
x-policy-id: <custom-content-filter-name>
model_info:
max_input_tokens: 270000
max_output_tokens: 20000
exposed: trueحدود رمز النماذج
توصيات حدود الرموز التالية للنماذج المدعومة.
| النموذج | الحد الأقصى لرموز الإدخال | الحد الأقصى لرموز الإخراج |
|---|---|---|
| Laguna S 2.1 | 270,000 | 20,000 |
| Nemotron 3 Ultra | 262,144 | 20,000 |
| Mistral Medium 3.5 | 262,144 | 20,000 |
| Sonnet 4.6 | 270,000 | 20,000 |
تكوين حدود رموز النماذج
حدّد حدود الرموز في قسم model_info من تعريف النموذج.
على سبيل المثال:
model_info:
provider: poolside
family: laguna
version: s2.1
max_input_tokens: 270000
max_output_tokens: 20000- يحدد
max_input_tokensالحد الأقصى لعدد الرموز التي يمكن تضمينها في طلب واحد، بما في ذلك المطالبات وسجل المحادثة وأي سياق إضافي. - يحدد
max_output_tokensالحد الأقصى لعدد الرموز التي يمكن للنموذج توليدها في الاستجابة. - هيّئ هذه القيم وفقًا لقدرات النموذج الأساسي.
- يمكن أن يؤدي تعيين قيم تتجاوز الحدود المدعومة للنموذج إلى فشل الطلبات أو الاستجابات المبتورة.
- إذا نشر موفر النموذج حدودًا محدَّثة، قم بتحديث التكوين ليتوافق مع القدرات الموثقة لدى الموفر.
البنية التحتية لخدمة النماذج
يتطلب Bob الوصول إلى نقطة نهاية استدلال نموذج واحدة أو أكثر لتنفيذ المهام المدعومة بالذكاء الاصطناعي. يتصل Bob بالنماذج المنشورة من خلال بوابة استدلال النماذج (Model Inference Gateway) ولكنه لا يوفر البنية التحتية لخدمة النماذج أو يستضيفها أو يديرها.
تحتوي معظم البيئات المحلية بالفعل على بنية تحتية لخدمة النماذج، سواء كانت مجموعة GPU مشتركة تشغل run.ai، أو Red Hat OpenShift AI، أو مزرعة خدمة vLLM مخصصة، أو الوصول إلى واجهة برمجة تطبيقات النماذج الخاصة بموفر السحابة العامة (AWS Bedrock، أو Azure OpenAI، أو Google Vertex AI). يتطلب Bob نقطة نهاية يمكن الوصول إليها عبر الشبكة من مجموعة OpenShift وتكشف عن واجهة برمجة تطبيقات متوافقة مع OpenAI.