了解 Bob 本地版所需的模型，包括受支持的核心推理模型、护栏模型以及用于启用 AI 功能的提供商特定安全特性。

Bob 本地版需要访问受支持的核心推理模型，以提供代码生成、解释、聊天和助手功能。根据你的部署需求，你可以将 Bob 连接到托管在你的环境中的气隙模型，或通过云提供商访问的前沿模型。为了增强安全性和政策合规性，IBM 建议配置护栏模型或使用提供商原生的护栏功能。

所需模型

在安装 Bob 之前，确保以下模型已部署并可访问。

模型角色	用途
核心推理模型	处理代码生成、解释、聊天请求和助手交互。
护栏模型	对输入和输出进行安全和政策合规性筛查。强烈建议使用护栏模型。

重要：

每次只配置一个核心推理模型。

注意：

强烈建议所有部署都使用护栏模型。对于气隙部署，请使用 openai/gpt-oss-20b。配置后，Bob 会自动通过护栏服务路由安全和政策评估请求。

受支持的模型

以下核心推理模型可用于 IBM Bob 本地版。在模型网关中配置单个核心推理模型。不支持同时运行多个核心推理模型。

提示：

要在复杂的 IBM Z 任务（例如深度 COBOL 重构、PL/I 分析和多文件代码转换）中获得最佳结果，Claude Sonnet 等前沿模型可提供最高水平的推理能力、准确性和生成质量。

前沿模型（推荐）：最适合需要高级推理、大上下文理解和多步骤代码生成的企业级 IBM Z 工作负载。
自托管开放权重模型：适用于严格的气隙合规性和标准编码辅助。对于复杂的大型机语言模式，针对性的提示调优和特定领域的上下文可能有助于改善结果。

气隙模型

资源要求（CPU、RAM、GPU/VRAM 和并发大小）取决于模型量化、上下文长度、推理运行时（例如 vLLM 或 TGI）和目标吞吐量。请参阅产品文档获取硬件规格和部署指南。

模型	参考资料
Mistral Medium 3.5	Mistral AI 文档 / Mistral Medium 3.5
Nvidia Nemotron 3 Ultra	NVIDIA Nemotron 文档 / Nemotron 3 Ultra FP4 / Nemotron 3 Ultra FP8
Poolside Laguna S 2.1	Poolside Laguna-S-2.1-FP8 文档 / Poolside Laguna-S-2.1-NVFP4 文档 / Poolside Laguna 模型

注意：

仅当你使用 IBM Bob Premium Package for Z 时，才能使用 Mistral Medium 3.5。它不适用于一般的 Bob 自托管部署。

前沿模型

前沿云模型通过提供商管理的 API 访问（例如 AWS Bedrock、Google Cloud Vertex AI 或 Azure OpenAI）。请参阅产品文档了解服务可用性、配额、速率限制和端点配置。

模型	参考资料
Claude Sonnet 5	Anthropic Claude 文档 / AWS Bedrock
Claude Opus 4.8	Anthropic Claude 文档 / AWS Bedrock
Google Gemini 3.7 Flash	Google Cloud Vertex AI 文档
OpenAI GPT5.6 Sol	Azure OpenAI 服务文档

提供商护栏

强烈建议使用护栏模型对所有输入和输出进行安全性、毒性过滤和政策筛查。请参阅模型仓库和推理运行时文档获取部署详情和硬件指南。

模型	参考资料	描述
`openai/gpt-oss-20b`	Hugging Face Model Hub / OpenAI 文档	安全和政策筛查必备

对于气隙模型，使用 openai/gpt-oss-20b 实现护栏。配置此护栏模型后，IDE 和 Bob Shell 客户端会自动配置使用它进行内容过滤。

前沿模型护栏

使用前沿模型时，你可以使用提供商的护栏功能，而无需 openai/gpt-oss-20b 护栏模型。

AWS Bedrock 护栏

创建 Bedrock 护栏并获取其 guardrailId 和版本。相关指南，请参阅 Bedrock 护栏文档和 CreateGuardrail API 参考。在 Bedrock 模型的 chat_inference_params 下添加护栏配置：

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
    max_output_tokens: 20000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

在 chat_inference_params 中配置 Vertex AI 安全过滤器。请参阅 Vertex AI 安全过滤器文档。

支持的类别	支持的阈值
`HARM_CATEGORY_SEXUALLY_EXPLICIT`、`HARM_CATEGORY_HATE_SPEECH`、`HARM_CATEGORY_HARASSMENT`、`HARM_CATEGORY_DANGEROUS_CONTENT`	`BLOCK_NONE`、`BLOCK_ONLY_HIGH`、`BLOCK_MEDIUM_AND_ABOVE`（默认）、`BLOCK_LOW_AND_ABOVE`（最严格）

- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.GEMINI_CREDENTIALS
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

在 Azure 中，创建内容过滤器并将其分配给模型部署；无需更改模型网关配置。请参阅 Azure OpenAI 内容过滤器文档。要在请求时应用策略，请配置 x-policy-id 请求头：

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_input_tokens: 270000
    max_output_tokens: 20000
    exposed: true

模型 token 限制

以下 token 限制适用于支持的模型，建议采用以下数值。

模型	最大输入 token	最大输出 token
Laguna S 2.1	270,000	20,000
Nemotron 3 Ultra	262,144	20,000
Mistral Medium 3.5	262,144	20,000
Sonnet 4.6	270,000	20,000

配置模型 token 限制

在模型定义的 model_info 部分指定 token 限制。

示例：

model_info:
  provider: poolside
  family: laguna
  version: s2.1
  max_input_tokens: 270000
  max_output_tokens: 20000

max_input_tokens 定义单次请求中可包含的最大 token 数，包括提示词、对话历史和任何附加上下文。

max_output_tokens 定义模型在一次响应中可生成的最大 token 数。

请根据底层模型的能力配置这些数值。

设置超过模型支持限制的数值可能导致请求失败或响应被截断。

如果模型提供商发布了更新的限制，请更新配置以与提供商的文档能力保持一致。

模型服务基础设施

Bob 需要访问一个或多个模型推理端点来执行 AI 驱动的任务。Bob 通过模型推理网关连接到已部署的模型，但不负责配置、托管或管理模型服务基础设施。

大多数本地环境已有可用的模型服务基础设施，无论是运行 run.ai、Red Hat OpenShift AI 的共享 GPU 集群，专用的 vLLM 推理集群，还是访问公有云提供商的模型 API（AWS Bedrock、Azure OpenAI、Google Vertex AI）。Bob 需要一个从 OpenShift 集群可通过网络访问、并公开兼容 OpenAI 的 API 的端点。

所需模型和受支持模型