Pelajari tentang model yang diperlukan oleh Bob self-hosted, termasuk model inferensi inti yang didukung, model guardrail, dan fitur keamanan khusus penyedia yang digunakan untuk mengaktifkan kapabilitas bertenaga AI.

Bob self-hosted memerlukan akses ke model inferensi inti yang didukung untuk menyediakan fungsionalitas pembuatan kode, penjelasan, obrolan (chat), dan interaksi asisten. Bergantung pada persyaratan deploymentmu, kamu dapat menghubungkan Bob ke model air-gapped yang di-host di lingkunganmu atau model frontier yang diakses melalui penyedia cloud. Untuk meningkatkan keamanan dan kepatuhan kebijakan, IBM merekomendasikan untuk mengonfigurasi model guardrail atau menggunakan kapabilitas guardrail bawaan penyedia.

Model yang diperlukan

Sebelum menginstal Bob, pastikan model berikut telah di-deploy dan dapat diakses.

Peran model	Tujuan
Model inferensi inti	Memproses pembuatan kode, penjelasan, permintaan chat, dan interaksi asisten.
Model guardrail	Memeriksa input dan output untuk kepatuhan keamanan dan kebijakan. Menggunakan model guardrail sangat direkomendasikan.

Penting:

Konfigurasikan tepat satu model inferensi inti pada satu waktu.

Catatan:

Model guardrail sangat direkomendasikan untuk semua deployment. Untuk deployment air-gapped, gunakan openai/gpt-oss-20b. Saat dikonfigurasi, Bob secara otomatis merutekan permintaan evaluasi keamanan dan kebijakan melalui layanan guardrail.

Model yang didukung

Model inferensi inti berikut tersedia untuk digunakan dengan IBM Bob self-hosted. Konfigurasikan satu model inferensi inti di Model Gateway. Menjalankan beberapa model inferensi inti secara bersamaan tidak didukung.

Tips:

Untuk hasil optimal pada tugas IBM Z yang kompleks—seperti refaktoring COBOL mendalam, analisis PL/I, dan transformasi kode multi-file—model frontier seperti Claude Sonnet memberikan tingkat penalaran, akurasi, dan kualitas generasi tertinggi.

Model frontier (direkomendasikan): Paling cocok untuk beban kerja IBM Z enterprise yang memerlukan penalaran lanjutan, pemahaman konteks besar, dan pembuatan kode multi-langkah.
Model open-weight yang di-host sendiri: Ideal untuk kepatuhan air-gap yang ketat dan bantuan pengkodean standar. Untuk pola bahasa mainframe yang kompleks, hasil mungkin mendapat manfaat dari penyetelan prompt yang ditargetkan dan konteks khusus domain.

Model air-gapped

Persyaratan sumber daya (CPU, RAM, GPU/VRAM, dan penyesuaian konkurensi) bergantung pada kuantisasi model, panjang konteks, runtime serving (seperti vLLM atau TGI), dan throughput target. Lihat dokumentasi produk untuk spesifikasi perangkat keras dan panduan deployment.

Model	Referensi
Mistral Medium 3.5	Dokumentasi Mistral AI / Mistral Medium 3.5
Nvidia Nemotron 3 Ultra	Dokumentasi NVIDIA Nemotron / Nemotron 3 Ultra FP4 / Nemotron 3 Ultra FP8
Poolside Laguna S 2.1	Dokumentasi Poolside Laguna-S-2.1-FP8 / Dokumentasi Poolside Laguna-S-2.1-NVFP4 / Model Poolside Laguna

Catatan:

Kamu hanya dapat menggunakan Mistral Medium 3.5 jika menggunakan IBM Bob Premium Package for Z. Fitur ini tidak tersedia untuk deployment Bob self-hosted umum.

Model frontier

Model cloud frontier diakses melalui API yang dikelola penyedia (seperti AWS Bedrock, Google Cloud Vertex AI, atau Azure OpenAI). Lihat dokumentasi produk untuk ketersediaan layanan, kuota, batas laju (rate limit), dan konfigurasi endpoint.

Model	Referensi
Claude Sonnet 5	Dokumentasi Anthropic Claude / AWS Bedrock
Claude Opus 4.8	Dokumentasi Anthropic Claude / AWS Bedrock
Google Gemini 3.7 Flash	Dokumentasi Google Cloud Vertex AI
OpenAI GPT5.6 Sol	Dokumentasi Azure OpenAI Service

Guardrail penyedia

Menggunakan model guardrail sangat direkomendasikan untuk keamanan, pemfilteran toksisitas, dan penyaringan kebijakan di semua input dan output. Lihat repositori model dan dokumentasi runtime serving untuk detail deployment dan panduan perangkat keras.

Model	Referensi	Deskripsi
`openai/gpt-oss-20b`	Hugging Face Model Hub / Dokumentasi OpenAI	Diperlukan untuk penyaringan keamanan dan kebijakan

Untuk model air-gapped, gunakan openai/gpt-oss-20b untuk menerapkan guardrail. Setelah model guardrail ini dikonfigurasi, klien IDE dan Bob Shell secara otomatis dikonfigurasi untuk menggunakannya dalam pemfilteran konten.

Guardrail model frontier

Saat menggunakan model frontier, kamu dapat menggunakan kapabilitas guardrail penyedia alih-alih model guardrail openai/gpt-oss-20b.

Guardrail AWS Bedrock

Buat Bedrock guardrail dan dapatkan guardrailId beserta versinya. Untuk panduan, lihat dokumentasi Bedrock guardrails dan referensi API CreateGuardrail. Tambahkan konfigurasi guardrail di bawah chat_inference_params untuk model Bedrock:

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
    max_output_tokens: 20000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

Konfigurasikan filter keamanan Vertex AI di chat_inference_params. Lihat dokumentasi filter keamanan Vertex AI.

Kategori yang didukung	Ambang batas (threshold) yang didukung
`HARM_CATEGORY_SEXUALLY_EXPLICIT`, `HARM_CATEGORY_HATE_SPEECH`, `HARM_CATEGORY_HARASSMENT`, `HARM_CATEGORY_DANGEROUS_CONTENT`	`BLOCK_NONE`, `BLOCK_ONLY_HIGH`, `BLOCK_MEDIUM_AND_ABOVE` (default), `BLOCK_LOW_AND_ABOVE` (paling ketat)

- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.GEMINI_CREDENTIALS
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

Di Azure, buat content filter dan tetapkan ke deployment model; tidak ada perubahan konfigurasi model gateway yang diperlukan. Lihat dokumentasi content filter Azure OpenAI. Untuk menerapkan kebijakan pada saat permintaan (request time), konfigurasikan header x-policy-id:

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: true

Batas token model

Batas token berikut direkomendasikan untuk model yang didukung.

Model	Maksimum token input	Maksimum token output
Laguna S 2.1	270.000	20.000
Nemotron 3 Ultra	262.144	20.000
Mistral Medium 3.5	262.144	20.000
Sonnet 4.6	270.000	20.000

Konfigurasikan batas token model

Tentukan batas token di bagian model_info pada definisi model.

Misalnya:

model_info:
  provider: poolside
  family: laguna
  version: s2.1
  max_input_tokens: 270000
  max_output_tokens: 20000

max_input_tokens mendefinisikan jumlah maksimum token yang dapat disertakan dalam satu permintaan, termasuk prompt, riwayat percakapan, dan konteks tambahan apapun.

max_output_tokens mendefinisikan jumlah maksimum token yang dapat dihasilkan model dalam sebuah respons.

Konfigurasikan nilai-nilai ini sesuai dengan kemampuan model yang mendasarinya.

Menetapkan nilai yang melebihi batas yang didukung model dapat mengakibatkan kegagalan permintaan atau respons yang terpotong.

Jika penyedia model mempublikasikan batas yang diperbarui, perbarui konfigurasi agar sesuai dengan kemampuan yang didokumentasikan penyedia.

Infrastruktur model serving

Bob memerlukan akses ke satu atau lebih endpoint inferensi model untuk melakukan tugas-tugas bertenaga AI. Bob terhubung ke model yang di-deploy melalui Model Inference Gateway tetapi tidak menyediakan, meng-host, atau mengelola infrastruktur model serving.

Sebagian besar lingkungan on-premises telah memiliki infrastruktur model serving yang tersedia, baik itu cluster GPU bersama yang menjalankan run.ai, Red Hat OpenShift AI, farm serving vLLM khusus, atau akses ke API model penyedia cloud publik (AWS Bedrock, Azure OpenAI, Google Vertex AI). Bob memerlukan endpoint yang dapat dijangkau jaringan dari cluster OpenShift yang mengekspos API yang kompatibel dengan OpenAI.

Model yang diperlukan dan didukung