了解 Bob 本地版所需的模型，包括受支持的核心推理模型、护栏模型以及用于启用 AI 功能的提供商特定安全特性。

Bob 本地版需要访问受支持的核心推理模型，以提供代码生成、解释、聊天和助手功能。根据你的部署需求，你可以将 Bob 连接到托管在你的环境中的气隙模型，或通过云提供商访问的前沿模型。为了增强安全性和政策合规性，IBM 建议配置护栏模型或使用提供商原生的护栏功能。

所需模型

在安装 Bob 之前，确保以下模型已部署并可访问。

模型角色	用途
核心推理模型	处理代码生成、解释、聊天请求和助手交互。
护栏模型	对输入和输出进行安全和政策合规性筛查。强烈建议使用护栏模型。

重要：

每次只配置一个核心推理模型。

注意：

强烈建议所有部署都使用护栏模型。对于气隙部署，请使用 openai/gpt-oss-20b。配置后，Bob 会自动通过护栏服务路由安全和政策评估请求。

受支持的模型

以下核心推理模型可用于 IBM Bob 本地版。在模型网关中配置单个核心推理模型。不支持同时运行多个核心推理模型。

气隙模型

资源要求（CPU、RAM、GPU/VRAM 和并发大小）取决于模型量化、上下文长度、推理运行时（例如 vLLM 或 TGI）和目标吞吐量。请参阅产品文档获取硬件规格和部署指南。

模型	参考资料
Mistral 3.5	Mistral AI 文档
Nvidia Nemotron 3	NVIDIA NeMo / Nemotron 文档
Poolside Laguna S2.1	Poolside AI 文档

前沿模型

前沿云模型通过提供商管理的 API 访问（例如 AWS Bedrock、Google Cloud Vertex AI 或 Azure OpenAI）。请参阅产品文档了解服务可用性、配额、速率限制和端点配置。

模型	参考资料
Claude Sonnet 5	Anthropic Claude 文档 / AWS Bedrock
Claude Opus 4.8	Anthropic Claude 文档 / AWS Bedrock
Google Gemini 3.7 Flash	Google Cloud Vertex AI 文档
OpenAI GPT5.6 Sol	Azure OpenAI 服务文档

提供商护栏

强烈建议使用护栏模型对所有输入和输出进行安全性、毒性过滤和政策筛查。请参阅模型仓库和推理运行时文档获取部署详情和硬件指南。

模型	参考资料	描述
`openai/gpt-oss-20b`	Hugging Face Model Hub / OpenAI 文档	安全和政策筛查必备

对于气隙模型，使用 openai/gpt-oss-20b 实现护栏。配置此护栏模型后，IDE 和 Bob Shell 客户端会自动配置使用它进行内容过滤。

前沿模型护栏

使用前沿模型时，你可以使用提供商的护栏功能，而无需 openai/gpt-oss-20b 护栏模型。

AWS Bedrock 护栏

创建 Bedrock 护栏并获取其 guardrailId 和版本。相关指南，请参阅 Bedrock 护栏文档和 CreateGuardrail API 参考。在 Bedrock 模型的 chat_inference_params 下添加护栏配置：

- model_name: bedrock-model
  bedrock:
    model: <bedrock-model-id>
    access_key_id: env.AWS_ACCESS_KEY
    region: us-east-1
    secret_access_key: env.AWS_SECRET_ACCESS_KEY
  model_info:
    exposed: true
    max_input_tokens: 270000
  chat_inference_params:
    guardrailConfig:
      guardrailIdentifier: <guardrail-id>
      guardrailVersion: <version-number-or-DRAFT>

Google Vertex AI

在 chat_inference_params 中配置 Vertex AI 安全过滤器。请参阅 Vertex AI 安全过滤器文档。

支持的类别	支持的阈值
`HARM_CATEGORY_SEXUALLY_EXPLICIT`、`HARM_CATEGORY_HATE_SPEECH`、`HARM_CATEGORY_HARASSMENT`、`HARM_CATEGORY_DANGEROUS_CONTENT`	`BLOCK_NONE`、`BLOCK_ONLY_HIGH`、`BLOCK_MEDIUM_AND_ABOVE`（默认）、`BLOCK_LOW_AND_ABOVE`（最严格）

- model_name: gemini-model
  vertex:
    model: gemini-model
    project: <project-id>
    location: global
    credentials: env.BOB_GEMINI_CREDENTIALS
  model_info:
    max_tokens: 20000
    max_input_tokens: 270000
    exposed: false
  chat_inference_params:
    safetySettings:
      - category: HARM_CATEGORY_HATE_SPEECH
        threshold: BLOCK_MEDIUM_AND_ABOVE
      - category: HARM_CATEGORY_HARASSMENT
        threshold: BLOCK_ONLY_HIGH
      - category: HARM_CATEGORY_SEXUALLY_EXPLICIT
        threshold: BLOCK_LOW_AND_ABOVE
      - category: HARM_CATEGORY_DANGEROUS_CONTENT
        threshold: BLOCK_LOW_AND_ABOVE

Azure OpenAI

在 Azure 中，创建内容过滤器并将其分配给模型部署；无需更改模型网关配置。请参阅 Azure OpenAI 内容过滤器文档。要在请求时应用策略，请配置 x-policy-id 请求头：

- model_name: gpt-model
  openai_compatible:
    model: openai/gpt-model
    base_url: https://<endpoint>.azure.com/openai
    api_key: env.AZURE_API_KEY
    extra_headers:
      x-policy-id: <custom-content-filter-name>
  model_info:
    max_tokens: 12000
    max_input_tokens: 200000
    exposed: true

模型服务基础设施

Bob 需要访问一个或多个模型推理端点来执行 AI 驱动的任务。Bob 通过模型推理网关连接到已部署的模型，但不负责配置、托管或管理模型服务基础设施。

大多数本地环境已有可用的模型服务基础设施，无论是运行 run.ai、Red Hat OpenShift AI 的共享 GPU 集群，专用的 vLLM 推理集群，还是访问公有云提供商的模型 API（AWS Bedrock、Azure OpenAI、Google Vertex AI）。Bob 需要一个从 OpenShift 集群可通过网络访问、并公开兼容 OpenAI 的 API 的端点。

有关部署受支持模型的更多信息，请参阅模型服务基础设施。

所需模型和受支持模型