必須およびサポートされているモデル
サポートされているコア推論モデル、ガードレールモデル、AI 機能を有効にするために使用されるプロバイダー固有の安全機能を含む、Bob オンプレミスが必要とするモデルについて説明します。
Bob オンプレミスは、コード生成、説明、チャット、アシスタント機能を提供するために、サポートされているコア推論モデルへのアクセスが必要です。デプロイメント要件に応じて、環境内でホストされているエアギャップモデルや、クラウドプロバイダーを通じてアクセスされるフロンティアモデルに Bob を接続できます。安全性とポリシーコンプライアンスを強化するために、IBM はガードレールモデルの設定またはプロバイダーネイティブのガードレール機能の使用を推奨しています。
必須モデル
Bob をインストールする前に、以下のモデルがデプロイされアクセス可能であることを確認してください。
| モデルの役割 | 目的 |
|---|---|
| コア推論モデル | コード生成、説明、チャットリクエスト、アシスタントインタラクションを処理します。 |
| ガードレールモデル | 安全性とポリシーコンプライアンスのために入力と出力をスクリーニングします。ガードレールモデルの使用を強く推奨します。 |
コア推論モデルは一度に 1 つだけ設定してください。
ガードレールモデルはすべてのデプロイメントで強く推奨されます。エアギャップデプロイメントの場合は openai/gpt-oss-20b を使用してください。設定すると、Bob は安全性とポリシー評価リクエストをガードレールサービスを通じて自動的にルーティングします。
サポートされているモデル
以下のコア推論モデルは IBM Bob オンプレミスで使用できます。モデルゲートウェイで 1 つのコア推論モデルを設定してください。複数のコア推論モデルを同時に実行することはサポートされていません。
COBOL の深いリファクタリング、PL/I 分析、複数ファイルにわたるコード変換など、複雑な IBM Z タスクで最適な結果を得るには、Claude Sonnet などのフロンティアモデルが最高レベルの推論、精度、および生成品質を提供します。
- フロンティアモデル（推奨）: 高度な推論、大規模なコンテキスト理解、多段階のコード生成を必要とするエンタープライズ IBM Z ワークロードに最適です。
- 自己ホスト型オープンウェイトモデル: 厳格なエアギャップコンプライアンスと標準的なコーディング支援に最適です。複雑なメインフレーム言語パターンの場合、結果はターゲットを絞ったプロンプトチューニングとドメイン固有のコンテキストによって改善される可能性があります。
エアギャップモデル
リソース要件 (CPU、RAM、GPU/VRAM、同時実行サイジング) はモデルの量子化、コンテキスト長、サービングランタイム (vLLM や TGI など)、目標スループットによって異なります。ハードウェア仕様とデプロイメントガイドについては製品ドキュメントを参照してください。
| モデル | リファレンス |
|---|---|
| Mistral Medium 3.5 | Mistral AI ドキュメント / Mistral Medium 3.5 |
| Nvidia Nemotron 3 Ultra | NVIDIA Nemotron ドキュメント / Nemotron 3 Ultra FP4 / Nemotron 3 Ultra FP8 |
| Poolside Laguna S 2.1 | Poolside Laguna-S-2.1-FP8 ドキュメント / Poolside Laguna-S-2.1-NVFP4 ドキュメント / Poolside Laguna モデル |
Mistral Medium 3.5 は IBM Bob Premium Package for Z を使用する場合にのみ利用できます。一般的な Bob セルフホストデプロイメントでは利用できません。
フロンティアモデル
フロンティアクラウドモデルはプロバイダー管理 API (AWS Bedrock、Google Cloud Vertex AI、Azure OpenAI など) を通じてアクセスされます。サービスの可用性、クォータ、レート制限、エンドポイント設定については製品ドキュメントを参照してください。
| モデル | リファレンス |
|---|---|
| Claude Sonnet 5 | Anthropic Claude ドキュメント / AWS Bedrock |
| Claude Opus 4.8 | Anthropic Claude ドキュメント / AWS Bedrock |
| Google Gemini 3.7 Flash | Google Cloud Vertex AI ドキュメント |
| OpenAI GPT5.6 Sol | Azure OpenAI Service ドキュメント |
プロバイダーガードレール
ガードレールモデルの使用は、すべての入力と出力にわたる安全性、毒性フィルタリング、ポリシースクリーニングに強く推奨されます。デプロイメントの詳細とハードウェアガイドラインについては、モデルリポジトリとサービングランタイムのドキュメントを参照してください。
| モデル | リファレンス | 説明 |
|---|---|---|
openai/gpt-oss-20b | Hugging Face Model Hub / OpenAI ドキュメント | 安全性とポリシースクリーニングに必要 |
エアギャップモデルの場合は、openai/gpt-oss-20b を使用してガードレールを実装します。このガードレールモデルが設定されると、IDE と Bob Shell クライアントはコンテンツフィルタリングに自動的に設定されます。
フロンティアモデルガードレール
フロンティアモデルを使用する場合は、openai/gpt-oss-20b ガードレールモデルの代わりにプロバイダーのガードレール機能を使用できます。
AWS Bedrock ガードレール
Bedrock ガードレールを作成して guardrailId とバージョンを取得します。ガイダンスについては Bedrock ガードレールドキュメントと CreateGuardrail API リファレンスを参照してください。Bedrock モデルの chat_inference_params 以下にガードレール設定を追加します。
- model_name: bedrock-model
bedrock:
model: <bedrock-model-id>
access_key_id: env.AWS_ACCESS_KEY
region: us-east-1
secret_access_key: env.AWS_SECRET_ACCESS_KEY
model_info:
exposed: true
max_input_tokens: 270000
max_output_tokens: 20000
chat_inference_params:
guardrailConfig:
guardrailIdentifier: <guardrail-id>
guardrailVersion: <version-number-or-DRAFT>Google Vertex AI
chat_inference_params で Vertex AI 安全フィルターを設定します。Vertex AI 安全フィルタードキュメントを参照してください。
| サポートされているカテゴリ | サポートされているしきい値 |
|---|---|
HARM_CATEGORY_SEXUALLY_EXPLICIT、HARM_CATEGORY_HATE_SPEECH、HARM_CATEGORY_HARASSMENT、HARM_CATEGORY_DANGEROUS_CONTENT | BLOCK_NONE、BLOCK_ONLY_HIGH、BLOCK_MEDIUM_AND_ABOVE (デフォルト)、BLOCK_LOW_AND_ABOVE (最も厳格) |
- model_name: gemini-model
vertex:
model: gemini-model
project: <project-id>
location: global
credentials: env.GEMINI_CREDENTIALS
model_info:
max_input_tokens: 270000
max_output_tokens: 20000
exposed: false
chat_inference_params:
safetySettings:
- category: HARM_CATEGORY_HATE_SPEECH
threshold: BLOCK_MEDIUM_AND_ABOVE
- category: HARM_CATEGORY_HARASSMENT
threshold: BLOCK_ONLY_HIGH
- category: HARM_CATEGORY_SEXUALLY_EXPLICIT
threshold: BLOCK_LOW_AND_ABOVE
- category: HARM_CATEGORY_DANGEROUS_CONTENT
threshold: BLOCK_LOW_AND_ABOVEAzure OpenAI
Azure では、コンテンツフィルターを作成してモデルデプロイメントに割り当てます — モデルゲートウェイの設定変更は不要です。Azure OpenAI コンテンツフィルタードキュメントを参照してください。代わりにリクエスト時にポリシーを適用するには、x-policy-id ヘッダーを設定します。
- model_name: gpt-model
openai_compatible:
model: openai/gpt-model
base_url: https://<endpoint>.azure.com/openai
api_key: env.AZURE_API_KEY
extra_headers:
x-policy-id: <custom-content-filter-name>
model_info:
max_input_tokens: 270000
max_output_tokens: 20000
exposed: trueモデルトークン制限
以下のトークン制限はサポートされているモデルに対して推奨されます。
| モデル | 最大入力トークン | 最大出力トークン |
|---|---|---|
| Laguna S 2.1 | 270,000 | 20,000 |
| Nemotron 3 Ultra | 262,144 | 20,000 |
| Mistral Medium 3.5 | 262,144 | 20,000 |
| Sonnet 4.6 | 270,000 | 20,000 |
モデルトークン制限の設定
モデル定義の model_info セクションにトークン制限を指定します。
例：
model_info:
provider: poolside
family: laguna
version: s2.1
max_input_tokens: 270000
max_output_tokens: 20000max_input_tokensは、プロンプト、会話履歴、追加のコンテキストを含む 1 つのリクエストに含めることができる最大トークン数を定義します。max_output_tokensは、モデルがレスポンスで生成できる最大トークン数を定義します。- これらの値は基礎となるモデルの能力に応じて設定してください。
- モデルのサポートする制限を超える値を設定すると、リクエストの失敗またはレスポンスの切り捨てが発生する可能性があります。
- モデルプロバイダーが更新された制限を公開した場合は、プロバイダーが文書化した能力と一致するよう設定を更新してください。
モデルサービングインフラ
Bob は AI 機能を実行するために 1 つ以上のモデル推論エンドポイントへのアクセスが必要です。Bob はモデル推論ゲートウェイを通じてデプロイされたモデルに接続しますが、モデルサービングインフラのプロビジョニング、ホスティング、管理は行いません。
ほとんどのオンプレミス環境には、run.ai や Red Hat OpenShift AI を実行する共有 GPU クラスター、専用の vLLM サービングファーム、またはパブリッククラウドプロバイダーのモデル API (AWS Bedrock、Azure OpenAI、Google Vertex AI) へのアクセスなど、すでにモデルサービングインフラが利用可能です。Bob は OpenShift クラスターから OpenAI 互換 API を公開するネットワーク到達可能なエンドポイントを必要とします。