教學

建立新的內容視窗

管理 Bob 的內容視窗以保留記憶體、控制成本並在複雜或長時間對話期間保持輸出品質。

聊天面板中的每個任務(對話)都有一個內容視窗。內容視窗是 Bob 在目前工作階段中可以保存在記憶體中的權杖限制。內容包括系統指示、工具架構、您的規則和技能以及完整的記錄。

在本教學中,您將開啟內容視窗,了解 Bob 在執行實際工作之前載入的內容,並了解何時建立新的內容視窗。

在本教學結束時,您將學習以下內容:

  1. 識別每個內容視窗類別以及 Bob 載入到其中的內容。
  2. 在 Galaxium Travels 上測量基準內容額外負荷。
  3. 在固定類別保持不變的情況下,觀察儲存庫提示後 Messages 的增長。
  4. 啟動新任務以重設內容視窗,同時將先前的任務保留在歷史記錄中。

本教學的組織方式

步驟部分您要做什麼
1設定實驗室開啟 Galaxium Travels 和聊天面板
2閱讀內容視窗分解傳送最小提示,然後檢查新的分解(~8.5k)
3使用提示增加訊息列出檔案,然後驗證 Messages 跳轉到 ~4.2k(12.1k 總計)
4建立新的內容視窗按一下 +(新任務),然後驗證指示器重設

熟悉以下術語:

  • 任務:具有自己的內容視窗的一個對話執行緒。您使用 +(新任務)啟動新的內容視窗。您的提示、Bob 的回覆和核准按鈕都在這裡。
  • 內容視窗分解:按一下聊天面板右上角的權杖使用指示器以查看權杖的去向。

總數因 MCP 伺服器、規則、技能和 Bob 讀取的內容而異。以下數字來自 270.0k 視窗上的 Galaxium Travels。固定類別應接近這些數字。Messages 取決於您要求 Bob 做什麼。

先決條件

要完成本教學,您需要以下內容:

為什麼內容管理很重要

權杖成本

權杖是 Bob 的消費單位,以 Bob coins 衡量。更長的對話和更大的檔案讀取會消耗更多權杖。保持對話集中可以降低成本。

每個提示都會重新傳送完整的活動內容。這包括您從未輸入的固定額外負荷。即使是一行問題也會攜帶工具定義、規則以及 Bob 預設載入的其他所有內容。

總結是有損的

當 Bob 達到其權杖限制時,Bob 會壓縮較舊的內容以繼續工作,這會遺失細節。您可能會遺失邊緣情況、中間推理以及您在許多提示之前陳述的約束。

如果您仍然需要內容詳細資訊,請在 Bob 將其總結之前啟動新任務。

品質在達到限制之前就會下降

Bob 目前使用 270.0k 權杖視窗。檢查您自己的權杖使用指示器以取得確切的上限。品質通常在達到它之前就會下降。隨著 Messages 的增長,回覆變得不太可靠。

設定實驗室

  1. 複製 Galaxium Travels 儲存庫。

    git clone -b bob-learning-path-branch https://github.com/IBM/galaxium-travels
  2. 按一下 File,然後按一下 Open Folder

  3. 導覽到您複製的 galaxium-travels 目錄並開啟它。

  4. 透過按一下導覽列旁邊的 Bob 圖示開啟 Bob 聊天介面, 或使用快速鍵 Option + Command + B(macOS)或 Ctrl + Alt + B(Windows)。

  5. 在聊天輸入欄位中,執行 /init。Bob 掃描儲存庫並建立一個 包含專案規則的 AGENTS.md 檔案。如果出現提示,請按一下 Approve todo tools for task

    等待 Bob 報告它已完成。這個 AGENTS.md 是後來出現在 內容視窗分解中的 Rules 行的內容,因此儲存庫需要它 才能測量基準。

閱讀內容視窗分解

取得新的基準,然後閱讀分解。

  1. 按一下聊天面板頂部的 + 以啟動新任務。

  2. 傳送最小提示以使用少量權杖:

    快速打個招呼。

    等待 Bob 的回覆。

  3. 按一下聊天面板右上角的權杖使用指示器以查看使用情況分解。

內容視窗分解

在 Galaxium Travels 上進行此交換後,您的數字會有所不同,但您會看到接近以下的數字:

權杖
總使用量8.5k(~3% 滿)
系統提示1.5k
工具定義5.1k
規則830
技能454
訊息590
為模型回應保留20.0k
可用空間241.5k

如果總使用量遠離 8.5k,請檢查您是否啟動了新任務並且只傳送了一個提示。

工具定義通常是最大的固定類別。無論您是否呼叫它們,MCP 伺服器和內建工具架構都會載入。規則來自專案檔案,如 AGENTS.md。如果 Bob 在任務期間載入技能,技能可能會在以後增加。

  1. 閱讀每個類別。分解顯示權杖的去向:

    類別它是什麼
    系統提示Bob 在此工作階段中的核心指示
    工具定義Bob 的內建工具和連接的 MCP 工具的架構
    規則來自您的專案和模式的自訂指示(自訂規則,例如 AGENTS.md
    技能Bob 載入的任何技能的指示(UI 可能顯示計數,例如 Skills (1 loaded)
    訊息任務中的提示、Bob 的回覆和工具活動。這是作為權杖計數的記錄

    估計分解下:

    • 為模型回應保留: 保留的權杖,以便 Bob 可以在不立即達到限制的情況下回覆。
    • 可用空間: 在 Bob 需要壓縮之前仍然可用的估計權杖。

    在 Galaxium 上,固定類別(系統提示工具定義規則技能)在有意義的工作之前總共約為 8k。無論您是否輸入,您都要在每一輪中支付這筆費用。

使用提示增加訊息

留在同一任務中。傳送填充記錄的提示。

  1. 請求檔案清單。

    列出此目錄中的所有檔案。

    如果出現提示,請核准讀取操作。Bob 列出儲存庫中的檔案。

  2. 比較發生了什麼變化。再次開啟分解。在 Galaxium Travels 上,您應該看到接近以下的數字:

    類別新任務列出檔案後持續工作(參考)
    系統提示1.5k1.5k1.5k
    工具定義5.1k5.1k5.1k
    規則830830830
    技能4544541.2k(1 個已載入)
    訊息5904.2k19.4k
    總使用量8.5k(~3%)12.1k(~4%)28.0k(~10%)
    可用空間241.5k237.9k222.0k

    訊息現在應該讀取約 4.2k。如果它高得多,Bob 讀取的檔案比此範例多,這沒關係。重點是 訊息增長了,而固定類別沒有。

    清單輸出和工具活動位於記錄中。在一個列出檔案的提示後,系統提示工具定義規則技能保持不變。

    最右邊的欄來自具有更多讀取和後續提示的更長的 Galaxium 工作階段。如果 Bob 載入技能,技能可能會增加(在該範例中從 454 增加到 1.2k)。隨著時間的推移,訊息通常增長最快。

    在 Galaxium 上,一個列出檔案的提示會向 訊息新增約 3.6k。固定額外負荷保持在 8k 附近。即使額外負荷不變,儲存庫探索也會快速使用內容。

建立新的內容視窗

在同一專案中啟動新任務。舊任務(對話)保留在歷史記錄中。

  1. 按一下聊天面板頂部的 +(新任務)。

    指示器重設。訊息降回到一個小數字。系統提示工具定義規則技能重新載入到大約基準。

  2. 您離開的任務保留在任務清單中,您可以隨時切換回去。它保留自己的記錄和權杖計數。當您在新任務中工作時,Bob 不會使用它。

    在以下情況下啟動新任務:

    • 您切換主題或工作目標。
    • 訊息大到足以損害品質或成本。在 Galaxium 上,訊息中的 19.4k 是重設的合理訊號。
    • 您完成了規劃並希望為實作提供一個乾淨的任務。請參閱規劃和實作複雜功能

    反思: 在新任務上開啟分解。哪些類別返回到基準?如果您留在舊任務中,哪些類別會繼續增長?

後續步驟

在本教學中,您學習了如何有效地管理內容視窗。您閱讀了分解,測量了固定權杖額外負荷的數量,觀察了一個列出檔案的提示後 訊息的增加,並使用 +(新任務)進行了重設。

這個主題如何?