IBM Bob

充分利用每個 Bobcoin

Bobcoin 花費在 Bob 讀寫的文字上,而不是你完成的工作上。以下是如何縮小這一差距。

充分利用每個 Bobcoin

作者

IBM Bob Team

發佈時間

分類

guide

分享

Bob 是 IBM 的 AI 程式設計助手,一個會話是與它的一次持續對話。你不會為完成的工作花費 Bobcoin。你花費它們的地方是 Bob 必須讀取和建立的文字。兩者之間的差異是大部分浪費的來源。

目標不是少花錢。大型重構成本很高但值得。目標是停止為不值得的工作付費。

在這篇部落格中,你將學習如何透過管理 context window、避免上下文污染、撰寫有效的 prompt、設定 Bob 以降低重複成本,以及衡量支出去向,來充分利用每個 Bobcoin。

為什麼長 context window 成本更高

每次傳送訊息時,Bob 都會再次接收整個對話,而不僅僅是你的最新訊息。因此,context window 開始一小時後傳送的訊息比開始時傳送的相同訊息成本更高。對話越長,Bob 需要讀取的內容就越多,而 Bob 需要讀取的內容越多,你花費的 Bobcoin 就越多。

還有第二個效果,它可能更加昂貴。對話越長,Bob 處理起來就越困難。答案變得不那麼準確。不太準確的答案需要糾正。每次糾正都會使對話變長,從而使下一個答案變得更糟。成本上升,品質同時下降。

例如,一個長時間的除錯會話中,Bob 在每一輪都重新讀取完整歷史記錄,最終成本可能比在幾個專注、全新的 context window 中完成同樣的修復更高。

節省成本的策略

為每個不相關的任務開始新的 context window。 一旦完成一項任務,就開始一個新的 context window。如果你在同一個 context window 中繼續處理下一個任務,Bob 仍然會在每一輪中讀取所有內容。但也不要拆分得太頻繁,以至於 Bob 必須重新學習你已經給過它的背景資訊——那種重新解釋的成本比長對話本身更高。

說明請求的範圍。 盡可能使用 @ 提及將 Bob 指向特定檔案。如果沒有 context mention,Bob 會搜尋 repository 以確定什麼重要,而該搜尋可能會花費大量 Bobcoin。

撰寫有效的 prompt。 prompt 是對 Bob 的請求。它越精確,Bob 需要猜測的就越少,你需要糾正的也就越少。

回滾而不是反覆糾正。 如果 Bob 多次誤解了你的 prompt,你應該回滾或用你的原始請求加上你學到的東西重新開始。回滾或啟動新的 context window 可以降低有多次糾正的長對話的成本。

使用回滾,你可以:

  • 安全地嘗試 AI 建議的變更
  • 輕鬆從不希望的修改中恢復
  • 比較不同的實作方法
  • 恢復到之前的專案狀態而不丟失工作
  • 了解回滾的工作原理
  • 了解回滾的最佳實踐

設定 Bob 以降低成本

AGENTS.md。 寫下你專案的慣例和結構,這樣 Bob 就不必在每個 context window 中重新弄清楚它們。保持你的 AGENTS.md 簡潔。Bob 不斷閱讀 AGENTS.md 檔案,因此臃腫的檔案會將一次性收益變成永久成本。

Skills。 Skill 保存僅在需要時載入的領域知識,而不是佔用 context window 中的空間。你在使用時付費。

Hooks。 Hook 直接執行 linter、formatter 或 test 命令,不花費 Bobcoin。要求 Bob 執行與 hook 相同的操作會花費 Bobcoin。如果工具可以進行檢查,就不要付費讓模型來做。

連接的工具。 Bob 在每個請求中讀取每個連接的 MCP(Model Context Protocol)伺服器的描述,無論你是否使用這些工具。你上個月為一項任務開啟的伺服器仍在花費你的錢。不主動使用 MCP 時請將其關閉。

在複雜任務上節省 Bobcoin

在建構之前進行規劃。 計畫是完成任務的步驟清單。它可以是一個項目符號清單,也可以像完整的設計文件一樣複雜。計畫可以減少你在建構階段需要進行的糾正次數,並且你可以將其重複用於類似任務。一旦你和 Bob 建立了計畫,請在實施之前進行審查。

Subagent。 Bob 自動將工作交給 subagent,因此你不需要請求。當任務需要大量研究時,你也可以直接將工作分配給 subagent:挖掘發生在你的主 context window 之外,只有發現返回。subagent 釋放了 context window 中的空間,但它們並不總是成本更低,同時執行多個可能成本更高。當任務需要大量、獨立的研究時,可以求助於 subagent;而將簡短、連續的任務留在你的主 context window 中——協調多個 agent 的成本可能比直接完成任務更高。

衡量 Bobcoin 使用情況

Bobalytics 顯示你實際花費的金額。總數本身告訴你的很少。你想發現的是浪費:小任務上的長 context window、反覆進行的相同糾正,以及你每天早上輸入的屬於 AGENTS.md 的背景資訊。

結論

這些都不會限制你可以嘗試的事情。它將 Bobcoin 從重新解釋你的專案、修復可避免的誤解以及為你從未需要的上下文付費中移開,轉向工作本身。

更多的 Bobcoin 提高了你可以花費的額度。更少的浪費決定了其中有多少到達實際問題。