Desteklenen temel çıkarım modelleri, koruluk modelleri ve yapay zeka destekli yetenekleri etkinleştirmek için kullanılan sağlayıcıya özgü güvenlik özellikleri dahil olmak üzere Bob self-hosted için gereken modeller hakkında bilgi edinin.

Bob self-hosted; kod oluşturma, açıklamalar, sohbet ve asistan yetenekleri sağlamak için desteklenen bir temel çıkarım (core inference) modeline erişim gerektirir. Dağıtım gereksinimlerinize bağlı olarak Bob'u ortamınızda barındırılan air-gapped modellere veya bulut sağlayıcıları aracılığıyla erişilen öncü (frontier) modellere bağlayabilirsiniz. Gelişmiş güvenlik ve politika uyumluluğu için IBM, bir koruluk (guardrail) modeli yapılandırmanızı veya sağlayıcıya özgü yerel koruluk yeteneklerini kullanmanızı önerir.

Gerekli modeller

Bob'u kurmadan önce aşağıdaki modellerin dağıtıldığından ve erişilebilir olduğundan emin olun.

Model rolü	Amaç
Temel çıkarım modeli	Kod oluşturma, açıklamalar, sohbet istekleri ve asistan etkileşimlerini işler.
Koruluk (guardrail) modeli	Güvenlik ve politika uyumluluğu için girdileri ve çıktıları denetler. Bir koruluk modeli kullanılması önemle tavsiye edilir.

Önemli:

Aynı anda tam olarak bir temel çıkarım modeli yapılandırın.

Not:

Tüm dağıtımlar için bir koruluk modeli şiddetle tavsiye edilir. Air-gapped dağıtımlar için openai/gpt-oss-20b kullanın. Yapılandırıldığında Bob, güvenlik ve politika değerlendirme isteklerini otomatik olarak koruluk servisi üzerinden yönlendirir.

Desteklenen modeller

Aşağıdaki temel çıkarım modelleri IBM Bob self-hosted ile kullanılabilir. Model Gateway'de tek bir temel çıkarım modeli yapılandırın. Aynı anda birden fazla temel çıkarım modelinin çalıştırılması desteklenmez.

İpucu:

Derin COBOL yeniden düzenleme, PL/I analizi ve çok dosyalı kod dönüşümleri gibi karmaşık IBM Z görevlerinde en iyi sonuçlar için, Claude Sonnet gibi öncü modeller en yüksek düzeyde akıl yürütme, doğruluk ve üretim kalitesi sunar.

Öncü modeller (önerilen): Gelişmiş akıl yürütme, büyük bağlam anlama ve çok adımlı kod üretimi gerektiren kurumsal IBM Z iş yükleri için en uygundur.
Kendi barındırdığınız açık ağırlıklı modeller: Katı hava boşluğu uyumluluğu ve standart kodlama yardımı için idealdir. Karmaşık ana bilgisayar dil kalıpları için, hedefli istem ayarlaması ve alana özgü bağlam ile sonuçlar iyileştirilebilir.

Air-gapped modeller

Kaynak gereksinimleri (CPU, RAM, GPU/VRAM ve eşzamanlılık boyutlandırması) model kuantizasyonuna, bağlam uzunluğuna (context length), sunum çalışma zamanına (vLLM veya TGI gibi) ve hedeflenen işleme kapasitesine (throughput) bağlıdır. Donanım özellikleri ve dağıtım kılavuzları için ürün belgelerine bakın.

Model	Referans
Mistral Medium 3.5	Mistral AI belgeleri / Mistral Medium 3.5
Nvidia Nemotron 3 Ultra	NVIDIA Nemotron belgeleri / Nemotron 3 Ultra FP4 / Nemotron 3 Ultra FP8
Poolside Laguna S 2.1	Poolside Laguna-S-2.1-FP8 belgeleri / Poolside Laguna-S-2.1-NVFP4 belgeleri / Poolside Laguna modelleri

Not:

Mistral Medium 3.5'i yalnızca IBM Bob Premium Package for Z kullanıyorsanız kullanabilirsin. Genel Bob self-hosted dağıtımlarında mevcut değildir.

Öncü (frontier) modeller

Öncü bulut modellerine sağlayıcı tarafından yönetilen API'ler (AWS Bedrock, Google Cloud Vertex AI veya Azure OpenAI gibi) aracılığıyla erişilir. Hizmet kullanılabilirliği, kotalar, hız sınırları (rate limits) ve endpoint yapılandırması için ürün belgelerine bakın.

Model	Referans
Claude Sonnet 5	Anthropic Claude belgeleri / AWS Bedrock
Claude Opus 4.8	Anthropic Claude belgeleri / AWS Bedrock
Google Gemini 3.7 Flash	Google Cloud Vertex AI belgeleri
OpenAI GPT5.6 Sol	Azure OpenAI Service belgeleri

Sağlayıcı korulukları

Tüm girdi ve çıktılarda güvenlik, toksisite filtreleme ve politika denetimi için bir koruluk modeli kullanılması önemle tavsiye edilir. Dağıtım ayrıntıları ve donanım yönergeleri için model deposuna ve sunum çalışma zamanı belgelerine bakın.

Model	Referans	Açıklama
`openai/gpt-oss-20b`	Hugging Face Model Hub / OpenAI belgeleri	Güvenlik ve politika denetimi için gereklidir

Air-gapped modeller için korulukları uygulamak üzere openai/gpt-oss-20b kullanın. Bu koruluk modeli yapılandırıldıktan sonra, IDE ve Bob Shell istemcileri içerik filtreleme için bunu kullanacak şekilde otomatik olarak yapılandırılır.

Öncü model korulukları

Öncü modelleri kullanırken, openai/gpt-oss-20b koruluk modeli yerine sağlayıcının koruluk yeteneğini kullanabilirsiniz.

AWS Bedrock korulukları

Bir Bedrock koruluğu oluşturun ve guardrailId ile sürümünü alın. Rehberlik için Bedrock korulukları belgelerine ve CreateGuardrail API referansına bakın. Bedrock modeli için chat_inference_params altına koruluk yapılandırmasını ekleyin:

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
    max_output_tokens: 20000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

chat_inference_params içinde Vertex AI güvenlik filtrelerini yapılandırın. Bkz. Vertex AI güvenlik filtresi belgeleri.

Desteklenen kategoriler	Desteklenen eşikler
`HARM_CATEGORY_SEXUALLY_EXPLICIT`, `HARM_CATEGORY_HATE_SPEECH`, `HARM_CATEGORY_HARASSMENT`, `HARM_CATEGORY_DANGEROUS_CONTENT`	`BLOCK_NONE`, `BLOCK_ONLY_HIGH`, `BLOCK_MEDIUM_AND_ABOVE` (varsayılan), `BLOCK_LOW_AND_ABOVE` (en katı)

- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.GEMINI_CREDENTIALS
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

Azure'da bir içerik filtresi oluşturun ve bunu model dağıtımına atayın; model gateway yapılandırmasında herhangi bir değişiklik gerekmez. Bkz. Azure OpenAI içerik filtresi belgeleri. İlkeyi istek zamanında uygulamak için x-policy-id başlığını yapılandırın:

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: true

Model token limitleri

Aşağıdaki token limitleri desteklenen modeller için önerilmektedir.

Model	Maksimum girdi token sayısı	Maksimum çıktı token sayısı
Laguna S 2.1	270.000	20.000
Nemotron 3 Ultra	262.144	20.000
Mistral Medium 3.5	262.144	20.000
Sonnet 4.6	270.000	20.000

Model token limitlerini yapılandırma

Token limitlerini model tanımının model_info bölümünde belirtin.

Örneğin:

model_info:
  provider: poolside
  family: laguna
  version: s2.1
  max_input_tokens: 270000
  max_output_tokens: 20000

max_input_tokens, promptlar, konuşma geçmişi ve ek bağlam dahil olmak üzere tek bir isteğe dahil edilebilecek maksimum token sayısını tanımlar.

max_output_tokens, modelin bir yanıtta üretebileceği maksimum token sayısını tanımlar.

Bu değerleri temel modelin yeteneklerine göre yapılandır.

Modelin desteklenen limitlerini aşan değerler ayarlamak, istek başarısızlıklarına veya kesilmiş yanıtlara yol açabilir.

Bir model sağlayıcısı güncellenmiş limitler yayınlarsa, yapılandırmayı sağlayıcının belgelenen yetenekleriyle eşleşecek şekilde güncelle.

Model sunum altyapısı

Bob, yapay zeka destekli görevleri gerçekleştirmek için bir veya daha fazla model çıkarım endpoint'ine erişim gerektirir. Bob, dağıtılan modellere Model Inference Gateway aracılığıyla bağlanır ancak model sunum altyapısını sağlamaz, barındırmaz veya yönetmez.

Çoğu on-premises ortamda; run.ai veya Red Hat OpenShift AI çalıştıran paylaşılan bir GPU kümesi, özel bir vLLM sunum çiftliği veya bir genel bulut sağlayıcısının model API'sine (AWS Bedrock, Azure OpenAI, Google Vertex AI) erişim gibi model sunum altyapısı zaten mevcuttur. Bob, OpenShift kümesinden ağ üzerinden erişilebilen ve OpenAI uyumlu bir API sunan bir endpoint gerektirir.

Gerekli ve desteklenen modeller