在為 IBM Bob 本地部署的受支援基礎模型時，請使用建議的 vLLM 啟動參數。

建議的設定著重於：

使用推測性解碼（speculative decoding）降低延遲。

前綴快取（prefix caching）和分塊預填充（chunked prefill）以提升長上下文效能。

針對特定模型的加速後端以獲得最佳吞吐量。

有效的記憶體使用率，以支援大型上下文視窗和更高的並行處理能力。

注意：

本節中的 vLLM 啟動引數是基於使用 NVIDIA H200 GPU 進行的內部驗證測試，作為建議的設定值提供。這些設定並非硬性要求，可能不適用於所有部署場景。在部署至正式環境之前，請評估並調整設定值，以適應你環境的具體硬體平台、模型變體、效能目標和工作負載特性。

重要：

本頁列出的模型僅支援文字型輸入，不支援影像處理或多模態影像分析。請勿上傳截圖、架構圖、應用程式圖、掃描文件或其他以影像為主的內容作為模型輸入。如果資訊包含在影像中，請先將其轉換為文字再提交給模型。

Nvidia Nemotron 3 Ultra（FP8、NV-FP4）

Nemotron 3 Ultra 550B 是一個混合狀態空間模型（SSM）和注意力式模型。FP8 和 NV-FP4 變體使用相同的 vLLM 設定。兩者之間僅有模型位置和服務模型名稱不同。

為獲得最佳效能，請啟用推測性解碼和 Mamba 特定的最佳化。

FP8 設定

args:
  - --tensor-parallel-size=8
  - --enable-expert-parallel
  - --max-model-len=262144
  - --max-num-seqs=32
  - --max-num-batched-tokens=32768
  - --gpu-memory-utilization=0.90
  - --enable-chunked-prefill
  - --enable-prefix-caching
  - --mamba-cache-mode=align
  - --mamba-ssm-cache-dtype=float16
  - --mamba-backend=flashinfer
  - --enable-mamba-cache-stochastic-rounding
  - --mamba-cache-philox-rounds=5
  - '--speculative-config={"method": "nemotron_h_mtp", "num_speculative_tokens": 5}'
  - '--model-loader-extra-config={"enable_multithread_load": true, "num_threads": 64}'
  - --reasoning-parser=nemotron_v3
  - --tool-call-parser=qwen3_coder
  - --enable-auto-tool-choice
  - --enable-prompt-tokens-details
  - --trust-remote-code

NV-FP4 設定

args:
  - --tensor-parallel-size=8
  - --enable-expert-parallel
  - --max-model-len=262144
  - --max-num-seqs=32
  - --max-num-batched-tokens=32768
  - --gpu-memory-utilization=0.90
  - --enable-chunked-prefill
  - --enable-prefix-caching
  - --mamba-cache-mode=align
  - --mamba-ssm-cache-dtype=float16
  - --mamba-backend=flashinfer
  - --enable-mamba-cache-stochastic-rounding
  - --mamba-cache-philox-rounds=5
  - '--speculative-config={"method": "nemotron_h_mtp", "num_speculative_tokens": 5}'
  - '--model-loader-extra-config={"enable_multithread_load": true, "num_threads": 64}'
  - --reasoning-parser=nemotron_v3
  - --tool-call-parser=qwen3_coder
  - --enable-auto-tool-choice
  - --enable-prompt-tokens-details
  - --trust-remote-code

這些設定的使用原因

推測性解碼：nemotron_h_mtp 推測性解碼方法生成草稿 token 並在單次傳遞中進行驗證。此設定可在並行工作負載下改善回應延遲並縮短首 token 時間（TTFT）。

Mamba 後端：flashinfer 後端建議用於 Nemotron 混合 SSM 層。結合隨機捨入，有助於提供穩定的吞吐量和可預測的記憶體消耗。

分塊預填充和前綴快取：分塊預填充以較小的區段處理大型提示，而前綴快取則重複使用先前計算的提示前綴。這些選項有助於改善長上下文工作負載的效能。

多執行緒模型載入：當模型權重儲存在持久化儲存上時，使用 64 個載入執行緒可縮短模型啟動時間。此設定不影響模型載入後的推論效能。

Laguna S 2.1（FP8）

Laguna S 2.1 是一個使用 dFlash 推測性解碼的專家混合（MoE）模型。以下設定已在八個 GPU 上使用 FP8 量化權重進行驗證。

設定

args:
  - --trust-remote-code
  - --tensor-parallel-size=8
  - --tool-call-parser=poolside_v1
  - --enable-auto-tool-choice
  - --reasoning-parser=poolside_v1
  - --enable-prompt-tokens-details
  - --max-num-batched-tokens=16384
  - --enable-prefix-caching
  - '--default-chat-template-kwargs={"preserve_thinking": true, "enable_thinking": true}'
  - '--speculative-config={"num_speculative_tokens": 7, "method": "dflash", "model": "/mnt/models/dflash-fp8"}'
  - --moe-backend=triton

這些設定的使用原因

dFlash 推測性解碼：dFlash 草稿模型為每個解碼步驟生成七個推測 token。主模型在單次傳遞中驗證這些 token，從而降低延遲並提升吞吐量。

Triton MoE 後端：triton 後端針對專家混合工作負載進行了最佳化，可在並行負載下提供更穩定的效能。

前綴快取：前綴快取透過在多個請求中重複使用常見的提示前綴來減少冗餘計算。

Mistral Medium 3.5（FP8）

Mistral Medium 3.5 是一個使用 Eagle 推測性解碼的密集模型。

設定

args:
  - --tensor-parallel-size=8
  - --tool-call-parser=mistral
  - --enable-auto-tool-choice
  - --reasoning-parser=mistral
  - --max-num-batched-tokens=32768
  - --max-num-seqs=32
  - --kv-cache-dtype=fp8
  - --max-model-len=234800
  - --gpu-memory-utilization=0.92
  - '--speculative-config={"model": "/mnt/models/eagle", "num_speculative_tokens": 3, "method": "eagle"}'

這些設定的使用原因

FP8 KV 快取壓縮：--kv-cache-dtype=fp8 設定可降低 KV 快取記憶體需求，在不修改模型權重的情況下支援大型上下文視窗。

Eagle 推測性解碼：Eagle 草稿模型比主模型提前預測三個 token。主模型在單次傳遞中驗證生成的 token，有助於縮短首 token 時間和回應延遲。

GPU 記憶體使用率：92% 的 GPU 記憶體使用率目標可最大化可用的 GPU 資源，同時在測試的工作負載下維持穩定運作。

效能調整

你可能需要調整以下參數以滿足效能和容量需求：

參數	描述
`--tensor-parallel-size`	跨多個 GPU 擴展推論。
`--max-model-len`	控制最大支援的上下文長度。
`--max-num-seqs`	增加或減少並行請求容量。
`--max-num-batched-tokens`	控制批次處理行為。
`--gpu-memory-utilization`	平衡記憶體使用量和穩定性。
`--speculative-config`	最佳化延遲和吞吐量。
`--enable-prefix-caching`	改善重複提示的效能。
`--enable-chunked-prefill`	改善大型提示的處理效能。

部署後，請監控延遲、吞吐量、GPU 使用率和記憶體消耗，並根據你的工作負載需求調整設定值。

建議的 vLLM 執行時期設定

Nvidia Nemotron 3 Ultra（FP8、NV-FP4）

Laguna S 2.1（FP8）

Mistral Medium 3.5（FP8）

效能調整

本頁內容