النماذج المطلوبة والمدعومة

تعرّف على النماذج المطلوبة لـ Bob ذاتي الاستضافة، بما في ذلك نماذج الاستدلال الأساسية المدعومة ونماذج الحراسة وميزات الأمان الخاصة بموفري الخدمات والمستخدمة لتمكين القدرات المدعومة بالذكاء الاصطناعي.

يتطلب Bob ذاتي الاستضافة الوصول إلى نموذج استدلال أساسي مدعوم لتوفير قدرات توليد الأكواد والشروحات والدردشة والمساعد الذكي. بناءً على متطلبات النشر لديك، يمكنك ربط Bob بنماذج معزولة عن الشبكة (air-gapped) مستضافة داخل بيئتك أو نماذج رائدة (frontier models) يتم الوصول إليها عبر موفري الخدمات السحابية. ولتعزيز الأمان والامتثال للسياسات، توصي IBM بتكوين نموذج حراسة (guardrail model) أو استخدام قدرات الحراسة الأصلية الخاصة بموفر الخدمة.

النماذج المطلوبة

قبل تثبيت Bob، تأكد من نشر النماذج التالية وإمكانية الوصول إليها.

دور النموذجالغرض
نموذج الاستدلال الأساسييعالج توليد الأكواد والشروحات وطلبات الدردشة وتفاعلات المساعد الذكي.
نموذج الحراسةيفحص المدخلات والمخرجات للأمان والامتثال للسياسات. يوصى بشدة باستخدام نموذج حراسة.
مهم:

هيّئ نموذج استدلال أساسي واحد فقط في المرة الواحدة.

ملاحظة:

يوصى بشدة باستخدام نموذج حراسة لجميع عمليات النشر. لعمليات النشر المعزولة عن الشبكة، استخدم openai/gpt-oss-20b. عند تكوينه، يوجه Bob طلبات تقييم الأمان والسياسات تلقائيًا عبر خدمة الحراسة.

النماذج المدعومة

تتوفر نماذج الاستدلال الأساسية التالية للاستخدام مع IBM Bob ذاتي الاستضافة. هيّئ نموذج استدلال أساسي واحد في بوابة النماذج (Model Gateway). تشغيل عدة نماذج استدلال أساسية في الوقت نفسه غير مدعوم.

تلميح:

للحصول على أفضل النتائج في مهام IBM Z المعقدة، مثل إعادة هيكلة COBOL المعمّقة وتحليل PL/I وتحويلات الكود متعددة الملفات، تقدّم النماذج الحدودية مثل Claude Sonnet أعلى مستوى من الاستدلال والدقة وجودة التوليد.

  • النماذج الحدودية (موصى بها): الأنسب لأعباء عمل IBM Z المؤسسية التي تتطلب استدلالاً متقدماً وفهماً للسياق الواسع وتوليداً متعدد الخطوات للكود.
  • النماذج مفتوحة الأوزان المستضافة ذاتياً: مثالية للامتثال الصارم للفصل الهوائي والمساعدة القياسية في البرمجة. بالنسبة لأنماط لغة الحاسب المركزي المعقدة، قد تستفيد النتائج من ضبط الموجّهات المستهدفة والسياق الخاص بالمجال.

النماذج المعزولة عن الشبكة (Air-gapped)

تعتمد متطلبات الموارد (وحدة المعالجة المركزية CPU، والذاكرة RAM، وGPU/VRAM، وتحديد حجم التزامن) على تكميم النموذج (quantization)، وطول السياق، وبيئة تشغيل الخدمة (مثل vLLM أو TGI)، والإنتاجية المستهدفة. راجع وثائق المنتج للاطلاع على مواصفات العتاد وأدلة النشر.

ملاحظة:

يمكنك استخدام Mistral Medium 3.5 فقط إذا كنت تستخدم IBM Bob Premium Package for Z. وهو غير متاح لعمليات النشر العامة ذاتية الاستضافة لـ Bob.

النماذج الرائدة (Frontier models)

يتم الوصول إلى النماذج السحابية الرائدة عبر واجهات برمجة التطبيقات المدارة من قبل الموفرين (مثل AWS Bedrock أو Google Cloud Vertex AI أو Azure OpenAI). راجع وثائق المنتج لمعرفة توفر الخدمة والحصص وحدود المعدل وتكوين نقاط النهاية.

النموذجالمرجع
Claude Sonnet 5وثائق Anthropic Claude / AWS Bedrock
Claude Opus 4.8وثائق Anthropic Claude / AWS Bedrock
Google Gemini 3.7 Flashوثائق Google Cloud Vertex AI
OpenAI GPT5.6 Solوثائق Azure OpenAI Service

حواجز الحماية الخاصة بموفري الخدمات (Provider guardrails)

يوصى بشدة باستخدام نموذج حراسة للأمان وتصفية السمية وفحص السياسات عبر جميع المدخلات والمخرجات. راجع مستودع النموذج ووثائق بيئة تشغيل الخدمة لمعرفة تفاصيل النشر وإرشادات العتاد.

النموذجالمرجعالوصف
openai/gpt-oss-20bHugging Face Model Hub / وثائق OpenAIمطلوب للأمان وفحص السياسات

بالنسبة للنماذج المعزولة عن الشبكة، استخدم openai/gpt-oss-20b لتطبيق حواجز الحماية. بعد تكوين نموذج الحراسة هذا، يتم تكوين عملاء IDE وBob Shell تلقائيًا لاستخدامه في تصفية المحتوى.

حواجز الحماية للنماذج الرائدة

عند استخدام النماذج الرائدة، يمكنك استخدام إمكانية الحراسة الخاصة بموفر الخدمة بدلاً من نموذج الحراسة openai/gpt-oss-20b.

حواجز حماية AWS Bedrock

أنشئ حاجز حماية في Bedrock واحصل على guardrailId والإصدار الخاص به. للحصول على إرشادات، راجع وثائق حواجز حماية Bedrock ومرجع واجهة برمجة التطبيقات CreateGuardrail. أضف تكوين حاجز الحماية تحت chat_inference_params لنموذج Bedrock:

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
    max_output_tokens: 20000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

هيّئ مرشحات الأمان لـ Vertex AI في chat_inference_params. راجع وثائق مرشحات أمان Vertex AI.

الفئات المدعومةالحدود المدعومة
HARM_CATEGORY_SEXUALLY_EXPLICIT، HARM_CATEGORY_HATE_SPEECH، HARM_CATEGORY_HARASSMENT، HARM_CATEGORY_DANGEROUS_CONTENTBLOCK_NONE، BLOCK_ONLY_HIGH، BLOCK_MEDIUM_AND_ABOVE (افتراضي)، BLOCK_LOW_AND_ABOVE (الأكثر صرامة)
- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.GEMINI_CREDENTIALS
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

في Azure، أنشئ مرشح محتوى وقم بتعيينه لنشر النموذج؛ ولا يلزم إجراء أي تغييرات على تكوين بوابة النماذج. راجع وثائق تصفية محتوى Azure OpenAI. لتطبيق سياسة عند وقت الطلب بدلاً من ذلك، هيّئ الترويسة x-policy-id:

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: true

حدود رمز النماذج

توصيات حدود الرموز التالية للنماذج المدعومة.

النموذجالحد الأقصى لرموز الإدخالالحد الأقصى لرموز الإخراج
Laguna S 2.1270,00020,000
Nemotron 3 Ultra262,14420,000
Mistral Medium 3.5262,14420,000
Sonnet 4.6270,00020,000

تكوين حدود رموز النماذج

حدّد حدود الرموز في قسم model_info من تعريف النموذج.

على سبيل المثال:

model_info:
  provider: poolside
  family: laguna
  version: s2.1
  max_input_tokens: 270000
  max_output_tokens: 20000
  • يحدد max_input_tokens الحد الأقصى لعدد الرموز التي يمكن تضمينها في طلب واحد، بما في ذلك المطالبات وسجل المحادثة وأي سياق إضافي.
  • يحدد max_output_tokens الحد الأقصى لعدد الرموز التي يمكن للنموذج توليدها في الاستجابة.
  • هيّئ هذه القيم وفقًا لقدرات النموذج الأساسي.
  • يمكن أن يؤدي تعيين قيم تتجاوز الحدود المدعومة للنموذج إلى فشل الطلبات أو الاستجابات المبتورة.
  • إذا نشر موفر النموذج حدودًا محدَّثة، قم بتحديث التكوين ليتوافق مع القدرات الموثقة لدى الموفر.

البنية التحتية لخدمة النماذج

يتطلب Bob الوصول إلى نقطة نهاية استدلال نموذج واحدة أو أكثر لتنفيذ المهام المدعومة بالذكاء الاصطناعي. يتصل Bob بالنماذج المنشورة من خلال بوابة استدلال النماذج (Model Inference Gateway) ولكنه لا يوفر البنية التحتية لخدمة النماذج أو يستضيفها أو يديرها.

تحتوي معظم البيئات المحلية بالفعل على بنية تحتية لخدمة النماذج، سواء كانت مجموعة GPU مشتركة تشغل run.ai، أو Red Hat OpenShift AI، أو مزرعة خدمة vLLM مخصصة، أو الوصول إلى واجهة برمجة تطبيقات النماذج الخاصة بموفر السحابة العامة (AWS Bedrock، أو Azure OpenAI، أو Google Vertex AI). يتطلب Bob نقطة نهاية يمكن الوصول إليها عبر الشبكة من مجموعة OpenShift وتكشف عن واجهة برمجة تطبيقات متوافقة مع OpenAI.

ما رأيك في هذا الموضوع؟