النماذج المطلوبة والمدعومة

تعرّف على النماذج المطلوبة لـ Bob المحلي، بما في ذلك نماذج الاستدلال الأساسية المدعومة ونماذج الحراسة وميزات الأمان الخاصة بموفري الخدمات والمستخدمة لتمكين القدرات المدعومة بالذكاء الاصطناعي.

يتطلب Bob المحلي الوصول إلى نموذج استدلال أساسي مدعوم لتوفير قدرات توليد الأكواد والشروحات والدردشة والمساعد الذكي. بناءً على متطلبات النشر لديك، يمكنك ربط Bob بنماذج معزولة عن الشبكة (air-gapped) مستضافة داخل بيئتك أو نماذج رائدة (frontier models) يتم الوصول إليها عبر موفري الخدمات السحابية. ولتعزيز الأمان والامتثال للسياسات، توصي IBM بتكوين نموذج حراسة (guardrail model) أو استخدام قدرات الحراسة الأصلية الخاصة بموفر الخدمة.

النماذج المطلوبة

قبل تثبيت Bob، تأكد من نشر النماذج التالية وإمكانية الوصول إليها.

دور النموذجالغرض
نموذج الاستدلال الأساسييعالج توليد الأكواد والشروحات وطلبات الدردشة وتفاعلات المساعد الذكي.
نموذج الحراسةيفحص المدخلات والمخرجات للأمان والامتثال للسياسات. يوصى بشدة باستخدام نموذج حراسة.
مهم:

هيّئ نموذج استدلال أساسي واحد فقط في المرة الواحدة.

ملاحظة:

يوصى بشدة باستخدام نموذج حراسة لجميع عمليات النشر. لعمليات النشر المعزولة عن الشبكة، استخدم openai/gpt-oss-20b. عند تكوينه، يوجه Bob طلبات تقييم الأمان والسياسات تلقائيًا عبر خدمة الحراسة.

النماذج المدعومة

تتوفر نماذج الاستدلال الأساسية التالية للاستخدام مع IBM Bob المحلي. هيّئ نموذج استدلال أساسي واحد في بوابة النماذج (Model Gateway). تشغيل عدة نماذج استدلال أساسية في الوقت نفسه غير مدعوم.

النماذج المعزولة عن الشبكة (Air-gapped)

تعتمد متطلبات الموارد (وحدة المعالجة المركزية CPU، والذاكرة RAM، وGPU/VRAM، وتحديد حجم التزامن) على تكميم النموذج (quantization)، وطول السياق، وبيئة تشغيل الخدمة (مثل vLLM أو TGI)، والإنتاجية المستهدفة. راجع وثائق المنتج للاطلاع على مواصفات العتاد وأدلة النشر.

النموذجالمرجع
Mistral 3.5وثائق Mistral AI
Nvidia Nemotron 3وثائق NVIDIA NeMo / Nemotron
Poolside Laguna S2.1وثائق Poolside AI

النماذج الرائدة (Frontier models)

يتم الوصول إلى النماذج السحابية الرائدة عبر واجهات برمجة التطبيقات المدارة من قبل الموفرين (مثل AWS Bedrock أو Google Cloud Vertex AI أو Azure OpenAI). راجع وثائق المنتج لمعرفة توفر الخدمة والحصص وحدود المعدل وتكوين نقاط النهاية.

النموذجالمرجع
Claude Sonnet 5وثائق Anthropic Claude / AWS Bedrock
Claude Opus 4.8وثائق Anthropic Claude / AWS Bedrock
Google Gemini 3.7 Flashوثائق Google Cloud Vertex AI
OpenAI GPT5.6 Solوثائق Azure OpenAI Service

حواجز الحماية الخاصة بموفري الخدمات (Provider guardrails)

يوصى بشدة باستخدام نموذج حراسة للأمان وتصفية السمية وفحص السياسات عبر جميع المدخلات والمخرجات. راجع مستودع النموذج ووثائق بيئة تشغيل الخدمة لمعرفة تفاصيل النشر وإرشادات العتاد.

النموذجالمرجعالوصف
openai/gpt-oss-20bHugging Face Model Hub / وثائق OpenAIمطلوب للأمان وفحص السياسات

بالنسبة للنماذج المعزولة عن الشبكة، استخدم openai/gpt-oss-20b لتطبيق حواجز الحماية. بعد تكوين نموذج الحراسة هذا، يتم تكوين عملاء IDE وBob Shell تلقائيًا لاستخدامه في تصفية المحتوى.

حواجز الحماية للنماذج الرائدة

عند استخدام النماذج الرائدة، يمكنك استخدام إمكانية الحراسة الخاصة بموفر الخدمة بدلاً من نموذج الحراسة openai/gpt-oss-20b.

حواجز حماية AWS Bedrock

أنشئ حاجز حماية في Bedrock واحصل على guardrailId والإصدار الخاص به. للحصول على إرشادات، راجع وثائق حواجز حماية Bedrock ومرجع واجهة برمجة التطبيقات CreateGuardrail. أضف تكوين حاجز الحماية تحت chat_inference_params لنموذج Bedrock:

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

هيّئ مرشحات الأمان لـ Vertex AI في chat_inference_params. راجع وثائق مرشحات أمان Vertex AI.

الفئات المدعومةالحدود المدعومة
HARM_CATEGORY_SEXUALLY_EXPLICIT، HARM_CATEGORY_HATE_SPEECH، HARM_CATEGORY_HARASSMENT، HARM_CATEGORY_DANGEROUS_CONTENTBLOCK_NONE، BLOCK_ONLY_HIGH، BLOCK_MEDIUM_AND_ABOVE (افتراضي)، BLOCK_LOW_AND_ABOVE (الأكثر صرامة)
- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.BOB_GEMINI_CREDENTIALS
  model_info:
    max_tokens: 20000
    max_input_tokens: 270000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

في Azure، أنشئ مرشح محتوى وقم بتعيينه لنشر النموذج؛ ولا يلزم إجراء أي تغييرات على تكوين بوابة النماذج. راجع وثائق تصفية محتوى Azure OpenAI. لتطبيق سياسة عند وقت الطلب بدلاً من ذلك، هيّئ الترويسة x-policy-id:

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_tokens: 12000
    max_input_tokens: 200000
    exposed: true

البنية التحتية لخدمة النماذج

يتطلب Bob الوصول إلى نقطة نهاية استدلال نموذج واحدة أو أكثر لتنفيذ المهام المدعومة بالذكاء الاصطناعي. يتصل Bob بالنماذج المنشورة من خلال بوابة استدلال النماذج (Model Inference Gateway) ولكنه لا يوفر البنية التحتية لخدمة النماذج أو يستضيفها أو يديرها.

تحتوي معظم البيئات المحلية بالفعل على بنية تحتية لخدمة النماذج، سواء كانت مجموعة GPU مشتركة تشغل run.ai، أو Red Hat OpenShift AI، أو مزرعة خدمة vLLM مخصصة، أو الوصول إلى واجهة برمجة تطبيقات النماذج الخاصة بموفر السحابة العامة (AWS Bedrock، أو Azure OpenAI، أو Google Vertex AI). يتطلب Bob نقطة نهاية يمكن الوصول إليها عبر الشبكة من مجموعة OpenShift وتكشف عن واجهة برمجة تطبيقات متوافقة مع OpenAI.

لمزيد من المعلومات حول نشر نموذج مدعوم، راجع البنية التحتية لخدمة النماذج.

ما رأيك في هذا الموضوع؟