了解 Bob 本地部署所需的模型，包括受支援的核心推論模型、防護欄模型，以及用於啟用 AI 功能的供應商特定安全功能。

Bob 本地部署需要存取受支援的核心推論模型，以提供程式碼生成、說明、聊天和助理功能。根據你的部署需求，你可以將 Bob 連線至環境內託管的氣隙模型，或透過雲端供應商存取的前沿模型。為了增強安全性和原則合規性，IBM 建議設定防護欄模型或使用供應商原生的防護欄功能。

必要模型

在安裝 Bob 之前，請確保以下模型已部署且可存取。

模型角色	用途
核心推論模型	處理程式碼生成、說明、聊天請求和助理互動。
防護欄模型	篩查輸入和輸出以確保安全性和原則合規性。強烈建議使用防護欄模型。

重要：

一次只能設定一個核心推論模型。

注意：

強烈建議所有部署都使用防護欄模型。對於氣隙部署，請使用 openai/gpt-oss-20b。設定後，Bob 會自動將安全性和原則評估請求路由到防護欄服務。

受支援的模型

以下核心推論模型可與 IBM Bob 本地部署搭配使用。在模型閘道中設定單一核心推論模型。不支援同時執行多個核心推論模型。

提示：

要在複雜的 IBM Z 任務（例如深度 COBOL 重構、PL/I 分析和多檔案程式碼轉換）中獲得最佳結果，Claude Sonnet 等前沿模型可提供最高水準的推理能力、準確性和生成品質。

前沿模型（建議）：最適合需要進階推理、大型上下文理解和多步驟程式碼生成的企業級 IBM Z 工作負載。
自架開放權重模型：適用於嚴格的氣隙合規性和標準程式碼輔助。對於複雜的大型主機語言模式，針對性的提示調校和特定領域的上下文可能有助於改善結果。

氣隙模型

資源需求（CPU、RAM、GPU/VRAM 和並行大小）取決於模型量化、上下文長度、服務執行時（例如 vLLM 或 TGI）和目標吞吐量。請參閱產品文件以了解硬體規格和部署指南。

模型	參考資料
Mistral 3.5	Mistral AI 文件 / Mistral Medium 3.5
Nvidia Nemotron 3 Ultra	NVIDIA Nemotron 文件 / Nemotron 3 Ultra FP4 / Nemotron 3 Ultra FP8
Poolside Laguna S2.1	Poolside Laguna-S-2.1-FP8 文件 / Poolside Laguna-S-2.1-NVFP4 文件 / Poolside Laguna 模型

注意：

只有在使用 IBM Bob Premium Package for Z 時才能使用 Mistral 3.5。一般 Bob 自架部署無法使用此模型。

前沿模型

前沿雲端模型透過供應商管理的 API 存取（例如 AWS Bedrock、Google Cloud Vertex AI 或 Azure OpenAI）。請參閱產品文件以了解服務可用性、配額、速率限制和端點設定。

模型	參考資料
Claude Sonnet 5	Anthropic Claude 文件 / AWS Bedrock
Claude Opus 4.8	Anthropic Claude 文件 / AWS Bedrock
Google Gemini 3.7 Flash	Google Cloud Vertex AI 文件
OpenAI GPT5.6 Sol	Azure OpenAI Service 文件

供應商防護欄

強烈建議對所有輸入和輸出使用防護欄模型，以進行安全性、毒性過濾和原則篩查。請參閱模型儲存庫和服務執行時文件，以了解部署詳情和硬體指南。

模型	參考資料	描述
`openai/gpt-oss-20b`	Hugging Face Model Hub / OpenAI 文件	安全性和原則篩查所需

對於氣隙模型，請使用 openai/gpt-oss-20b 實作防護欄。設定此防護欄模型後，IDE 和 Bob Shell 用戶端會自動設定為使用它進行內容過濾。

前沿模型防護欄

使用前沿模型時，你可以使用供應商的防護欄功能，而不必使用 openai/gpt-oss-20b 防護欄模型。

AWS Bedrock 防護欄

建立 Bedrock 防護欄並取得其 guardrailId 和版本。如需指引，請參閱 Bedrock 防護欄文件和 CreateGuardrail API 參考。在 Bedrock 模型的 chat_inference_params 下新增防護欄設定：

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
    max_output_tokens: 20000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

在 chat_inference_params 中設定 Vertex AI 安全性過濾器。請參閱 Vertex AI 安全性過濾器文件。

受支援的類別	受支援的閾值
`HARM_CATEGORY_SEXUALLY_EXPLICIT`、`HARM_CATEGORY_HATE_SPEECH`、`HARM_CATEGORY_HARASSMENT`、`HARM_CATEGORY_DANGEROUS_CONTENT`	`BLOCK_NONE`、`BLOCK_ONLY_HIGH`、`BLOCK_MEDIUM_AND_ABOVE`（預設）、`BLOCK_LOW_AND_ABOVE`（最嚴格）

- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.GEMINI_CREDENTIALS
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

在 Azure 中，建立內容過濾器並將其指派給模型部署；不需要變更模型閘道設定。請參閱 Azure OpenAI 內容過濾器文件。若要在請求時套用原則，請設定 x-policy-id 標頭：

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: true

模型 token 限制

以下是受支援模型的建議 token 限制。

模型	最大輸入 token	最大輸出 token
Laguna S2.1	270,000	20,000
Nemotron 3 Ultra	262,144	20,000
Mistral Medium 3.5	262,144	20,000
Sonnet 4.6	270,000	20,000

設定模型 token 限制

在模型定義的 model_info 區段中指定 token 限制。

例如：

model_info:
  provider: poolside
  family: laguna
  version: s2.1
  max_input_tokens: 270000
  max_output_tokens: 20000

max_input_tokens 定義單次請求中可包含的最大 token 數量，包括提示、對話歷史和任何附加的上下文。

max_output_tokens 定義模型在回應中可生成的最大 token 數量。

請根據底層模型的能力設定這些數值。

設定超過模型支援限制的數值可能導致請求失敗或回應被截斷。

如果模型提供商發布了更新的限制，請更新設定以符合提供商的說明文件。

模型服務基礎架構

Bob 需要存取一個或多個模型推論端點才能執行 AI 功能。Bob 透過模型推論閘道連線至已部署的模型，但不負責佈建、託管或管理模型服務基礎架構。

大多數本地環境已有可用的模型服務基礎架構，無論是執行 run.ai、Red Hat OpenShift AI 的共享 GPU 叢集、專用的 vLLM 服務伺服器群，還是公用雲端供應商模型 API 的存取（AWS Bedrock、Azure OpenAI、Google Vertex AI）。Bob 需要 OpenShift 叢集中可透過網路存取的端點，該端點需公開 OpenAI 相容的 API。

必要和受支援的模型