النماذج المطلوبة والمدعومة
تعرّف على النماذج المطلوبة لـ Bob المحلي، بما في ذلك نماذج الاستدلال الأساسية المدعومة ونماذج الحراسة وميزات الأمان الخاصة بموفري الخدمات والمستخدمة لتمكين القدرات المدعومة بالذكاء الاصطناعي.
يتطلب Bob المحلي الوصول إلى نموذج استدلال أساسي مدعوم لتوفير قدرات توليد الأكواد والشروحات والدردشة والمساعد الذكي. بناءً على متطلبات النشر لديك، يمكنك ربط Bob بنماذج معزولة عن الشبكة (air-gapped) مستضافة داخل بيئتك أو نماذج رائدة (frontier models) يتم الوصول إليها عبر موفري الخدمات السحابية. ولتعزيز الأمان والامتثال للسياسات، توصي IBM بتكوين نموذج حراسة (guardrail model) أو استخدام قدرات الحراسة الأصلية الخاصة بموفر الخدمة.
النماذج المطلوبة
قبل تثبيت Bob، تأكد من نشر النماذج التالية وإمكانية الوصول إليها.
| دور النموذج | الغرض |
|---|---|
| نموذج الاستدلال الأساسي | يعالج توليد الأكواد والشروحات وطلبات الدردشة وتفاعلات المساعد الذكي. |
| نموذج الحراسة | يفحص المدخلات والمخرجات للأمان والامتثال للسياسات. يوصى بشدة باستخدام نموذج حراسة. |
هيّئ نموذج استدلال أساسي واحد فقط في المرة الواحدة.
يوصى بشدة باستخدام نموذج حراسة لجميع عمليات النشر. لعمليات النشر المعزولة عن الشبكة، استخدم openai/gpt-oss-20b. عند تكوينه، يوجه Bob طلبات تقييم الأمان والسياسات تلقائيًا عبر خدمة الحراسة.
النماذج المدعومة
تتوفر نماذج الاستدلال الأساسية التالية للاستخدام مع IBM Bob المحلي. هيّئ نموذج استدلال أساسي واحد في بوابة النماذج (Model Gateway). تشغيل عدة نماذج استدلال أساسية في الوقت نفسه غير مدعوم.
النماذج المعزولة عن الشبكة (Air-gapped)
تعتمد متطلبات الموارد (وحدة المعالجة المركزية CPU، والذاكرة RAM، وGPU/VRAM، وتحديد حجم التزامن) على تكميم النموذج (quantization)، وطول السياق، وبيئة تشغيل الخدمة (مثل vLLM أو TGI)، والإنتاجية المستهدفة. راجع وثائق المنتج للاطلاع على مواصفات العتاد وأدلة النشر.
| النموذج | المرجع |
|---|---|
| Mistral 3.5 | وثائق Mistral AI |
| Nvidia Nemotron 3 | وثائق NVIDIA NeMo / Nemotron |
| Poolside Laguna S2.1 | وثائق Poolside AI |
النماذج الرائدة (Frontier models)
يتم الوصول إلى النماذج السحابية الرائدة عبر واجهات برمجة التطبيقات المدارة من قبل الموفرين (مثل AWS Bedrock أو Google Cloud Vertex AI أو Azure OpenAI). راجع وثائق المنتج لمعرفة توفر الخدمة والحصص وحدود المعدل وتكوين نقاط النهاية.
| النموذج | المرجع |
|---|---|
| Claude Sonnet 5 | وثائق Anthropic Claude / AWS Bedrock |
| Claude Opus 4.8 | وثائق Anthropic Claude / AWS Bedrock |
| Google Gemini 3.7 Flash | وثائق Google Cloud Vertex AI |
| OpenAI GPT5.6 Sol | وثائق Azure OpenAI Service |
حواجز الحماية الخاصة بموفري الخدمات (Provider guardrails)
يوصى بشدة باستخدام نموذج حراسة للأمان وتصفية السمية وفحص السياسات عبر جميع المدخلات والمخرجات. راجع مستودع النموذج ووثائق بيئة تشغيل الخدمة لمعرفة تفاصيل النشر وإرشادات العتاد.
| النموذج | المرجع | الوصف |
|---|---|---|
openai/gpt-oss-20b | Hugging Face Model Hub / وثائق OpenAI | مطلوب للأمان وفحص السياسات |
بالنسبة للنماذج المعزولة عن الشبكة، استخدم openai/gpt-oss-20b لتطبيق حواجز الحماية. بعد تكوين نموذج الحراسة هذا، يتم تكوين عملاء IDE وBob Shell تلقائيًا لاستخدامه في تصفية المحتوى.
حواجز الحماية للنماذج الرائدة
عند استخدام النماذج الرائدة، يمكنك استخدام إمكانية الحراسة الخاصة بموفر الخدمة بدلاً من نموذج الحراسة openai/gpt-oss-20b.
حواجز حماية AWS Bedrock
أنشئ حاجز حماية في Bedrock واحصل على guardrailId والإصدار الخاص به. للحصول على إرشادات، راجع وثائق حواجز حماية Bedrock ومرجع واجهة برمجة التطبيقات CreateGuardrail. أضف تكوين حاجز الحماية تحت chat_inference_params لنموذج Bedrock:
- model_name: bedrock-model
bedrock:
model: <bedrock-model-id>
access_key_id: env.AWS_ACCESS_KEY
region: us-east-1
secret_access_key: env.AWS_SECRET_ACCESS_KEY
model_info:
exposed: true
max_input_tokens: 270000
chat_inference_params:
guardrailConfig:
guardrailIdentifier: <guardrail-id>
guardrailVersion: <version-number-or-DRAFT>Google Vertex AI
هيّئ مرشحات الأمان لـ Vertex AI في chat_inference_params. راجع وثائق مرشحات أمان Vertex AI.
| الفئات المدعومة | الحدود المدعومة |
|---|---|
HARM_CATEGORY_SEXUALLY_EXPLICIT، HARM_CATEGORY_HATE_SPEECH، HARM_CATEGORY_HARASSMENT، HARM_CATEGORY_DANGEROUS_CONTENT | BLOCK_NONE، BLOCK_ONLY_HIGH، BLOCK_MEDIUM_AND_ABOVE (افتراضي)، BLOCK_LOW_AND_ABOVE (الأكثر صرامة) |
- model_name: gemini-model
vertex:
model: gemini-model
project: <project-id>
location: global
credentials: env.BOB_GEMINI_CREDENTIALS
model_info:
max_tokens: 20000
max_input_tokens: 270000
exposed: false
chat_inference_params:
safetySettings:
- category: HARM_CATEGORY_HATE_SPEECH
threshold: BLOCK_MEDIUM_AND_ABOVE
- category: HARM_CATEGORY_HARASSMENT
threshold: BLOCK_ONLY_HIGH
- category: HARM_CATEGORY_SEXUALLY_EXPLICIT
threshold: BLOCK_LOW_AND_ABOVE
- category: HARM_CATEGORY_DANGEROUS_CONTENT
threshold: BLOCK_LOW_AND_ABOVEAzure OpenAI
في Azure، أنشئ مرشح محتوى وقم بتعيينه لنشر النموذج؛ ولا يلزم إجراء أي تغييرات على تكوين بوابة النماذج. راجع وثائق تصفية محتوى Azure OpenAI. لتطبيق سياسة عند وقت الطلب بدلاً من ذلك، هيّئ الترويسة x-policy-id:
- model_name: gpt-model
openai_compatible:
model: openai/gpt-model
base_url: https://<endpoint>.azure.com/openai
api_key: env.AZURE_API_KEY
extra_headers:
x-policy-id: <custom-content-filter-name>
model_info:
max_tokens: 12000
max_input_tokens: 200000
exposed: trueالبنية التحتية لخدمة النماذج
يتطلب Bob الوصول إلى نقطة نهاية استدلال نموذج واحدة أو أكثر لتنفيذ المهام المدعومة بالذكاء الاصطناعي. يتصل Bob بالنماذج المنشورة من خلال بوابة استدلال النماذج (Model Inference Gateway) ولكنه لا يوفر البنية التحتية لخدمة النماذج أو يستضيفها أو يديرها.
تحتوي معظم البيئات المحلية بالفعل على بنية تحتية لخدمة النماذج، سواء كانت مجموعة GPU مشتركة تشغل run.ai، أو Red Hat OpenShift AI، أو مزرعة خدمة vLLM مخصصة، أو الوصول إلى واجهة برمجة تطبيقات النماذج الخاصة بموفر السحابة العامة (AWS Bedrock، أو Azure OpenAI، أو Google Vertex AI). يتطلب Bob نقطة نهاية يمكن الوصول إليها عبر الشبكة من مجموعة OpenShift وتكشف عن واجهة برمجة تطبيقات متوافقة مع OpenAI.
لمزيد من المعلومات حول نشر نموذج مدعوم، راجع البنية التحتية لخدمة النماذج.