Konsep inti

Manajemen context window

Pelajari cara context window 270.000 token Bob bekerja, cara setiap kategori berkontribusi pada penggunaan token, dan praktik terbaik untuk menjaga tugas tetap terfokus dan hemat biaya.

Memahami context window

Setiap tugas di panel chat memiliki context window, yang merupakan anggaran token untuk thread percakapan tersebut. Batasnya adalah 270.000 token. Semua yang Bob muat dihitung terhadapnya.

Apa yang mengisi context window

Arahkan kursor ke indikator penggunaan token di pojok kanan atas panel chat untuk melihat rincian apa yang mengonsumsi context window-mu:

Panel rincian context window yang menampilkan penggunaan token berdasarkan kategori
KategoriApa yang termasuk
System promptInstruksi inti Bob untuk sesi tersebut
Tool definitionsSkema alat bawaan dan definisi alat MCP yang terhubung
MCP ToolsInstruksi dan deskripsi untuk alat yang disediakan oleh server MCP yang terhubung
RulesInstruksi khusus dari file aturan proyek dan mode (misalnya, AGENTS.md atau .bob/rules-*)
SkillsInstruksi dari skill yang Bob muat untuk percakapan
MessagesPrompt-mu, balasan Bob, dan aktivitas alat dalam percakapan. Ini adalah transkrip yang dihitung sebagai token.

Mention @, output perintah, dan hasil alat semuanya dihitung terhadap Messages. Konten file tidak muncul sebagai baris terpisah.

Di bawah Estimated breakdown:

  • Reserved for model response: Token yang disisihkan untuk balasan Bob berikutnya (biasanya 20.0k).
  • Available space: Token bebas yang tersisa.

Overhead dasar

Kategori tetap mengonsumsi token sebelum kamu mulai bekerja dengan Bob. Pada proyek sampel Galaxium Travels, bahkan prompt sesingkat "Quickly say hi back." berjumlah sekitar 8,5k token. Sebagian besar adalah Tool definitions (5,1k), System prompt (1,5k), Rules (830), dan Skills (454). Hanya 590 token yang ada di Messages.

Bob mengirim ulang seluruh stack overhead pada setiap prompt. Menambahkan lebih banyak server MCP atau skill yang dimuat meningkatkan MCP Tools, Tool definitions, dan Skills sebelum kamu mengetik satu kata pun.

Untuk angka langsung dan panduan reset, lihat Buat context window baru.

Memantau penggunaan token

Indikator penggunaan token menampilkan persentase terisi dan fraksi yang digunakan/total terhadap batas 270.000 token. Klik untuk membuka rincian context window. Periksa kategori mana yang berkembang.

Tabel berikut menunjukkan apa yang menyebabkan setiap kategori berkembang:

KategoriApa yang membuatnya berkembang
System promptDimuat saat tugas dimulai. Tetap datar selama pekerjaan normal.
Tool definitionsSkema alat bawaan. Ditetapkan saat tugas dimulai. Tetap datar selama pekerjaan normal.
MCP ToolsServer MCP yang terhubung dan alat yang diaktifkan. Berkembang saat kamu menambahkan server atau alat, bukan saat kamu mengirim prompt.
RulesFile aturan proyek dan mode (misalnya, AGENTS.md). Ditetapkan saat tugas dibuka.
SkillsSkill yang Bob muat untuk tugas. Dapat meningkat jika Bob mengaktifkan skill di tengah thread.
MessagesPrompt-mu, balasan Bob, baca file, output alat, dan mention @. Berkembang dengan setiap giliran dan dengan eksplorasi repositori.

Dalam pertukaran singkat, kategori tetap sering menyumbang sebagian besar total. Ketika kamu meminta Bob membaca file atau menjalankan alat, Messages biasanya menjadi kategori terbesar. Perhatikan pergeseran ini.

Available space menyusut seiring berkembangnya kategori mana pun. Reserved for model response disisihkan untuk balasan Bob berikutnya dan bukan bagian dari total yang digunakan yang ditampilkan di atasnya.

Untuk contoh terukur pada repositori nyata, lihat Buat context window baru.

Batas token

Batas ketat adalah 270.000 token per tugas. Bob mulai mengkompaksi sebelum kamu mencapai batas. Kompaksi biasanya dimulai sekitar 190.000 token dari total penggunaan.

Kompaksi konteks otomatis

Pada ambang kompaksi, Bob:

  1. Mempertahankan konteks terbaru dan paling relevan.
  2. Merangkum atau menghapus segmen percakapan yang lebih lama.
  3. Mempertahankan instruksi sistem kritis, definisi alat, aturan, dan skill.
  4. Melanjutkan dengan konteks yang dikompaksi.

Kompaksi bersifat lossy. Detail dari awal Messages mungkin tidak bertahan. Mulai tugas baru dengan + (Tugas baru) saat kamu berganti topik atau saat Messages cukup besar untuk mempengaruhi kualitas.

Dampak pada Bobcoin

Bobcoin melacak penggunaan token. Token input dan output sama-sama dihitung.

  • Setiap pesan mengirim ulang seluruh konteks aktif lagi, termasuk overhead tetap.
  • Bob memproses ulang semua yang sudah dimuat pada setiap pengiriman.
  • Thread panjang dengan Messages berat lebih mahal per prompt selanjutnya.

Praktik terbaik

Note:

Context window bukan penyimpanan. Ini adalah anggaran token aktif yang tersedia untuk Bob di setiap langkah. Kontrol apa yang masuk. Reset atau kompaksi saat thread terisi dengan konten yang sudah usang. Periksa hasilnya dengan test, bukan hanya balasan Bob.

Cakup tugas dan percakapan

Gunakan satu tugas per tujuan kerja dan mulai dengan prompt yang sempit. Nyatakan tujuan, hasil yang diharapkan, dan batasan sebelum meminta Bob mengeksplorasi repositori. Sebutkan file dan fungsi secara eksplisit. Hindari permintaan samar seperti "baca seluruh repo" atau "periksa backend." Klik + (Tugas baru) saat topik berubah, karena konten yang tidak terkait di Messages menambah biaya dan bisa membingungkan Bob.

Jaga konteks tetap ringkas

Kategori tetap mengonsumsi token sebelum kamu mengetik apa pun. Untuk menjaga overhead rendah:

  • Jaga aturan khusus dan AGENTS.md pendek. Sertakan hanya perintah setup, test, dan gaya (misalnya, pnpm test, mvn verify).
  • Hubungkan hanya server MCP, alat, dan skill yang diperlukan pekerjaan saat ini. Putuskan koneksi yang tidak digunakan, dan lebih baik konfigurasi MCP bercakupan proyek daripada global.
  • Sisihkan Messages untuk bukti situasional spesifik untuk tugas ini: bug, log, dan file yang relevan. Jangan ulangi aturan tetap di setiap prompt.

Tambahkan konteks saat diperlukan

Biarkan Bob mencari dan membaca file yang ditargetkan daripada menempel blok konten besar ke thread. Gunakan context mentions untuk mereferensikan file atau rentang baris tertentu, dan hindari mention direktori yang luas:

✓ @/src/utils/validation.ts:45-67 Perbaiki logika validasi email
✗ @/src @/tests @/docs Tinjau semua dan sarankan perbaikan

Kamu juga bisa menyorot teks di editor dan menggunakan Cmd + L (Mac) atau Ctrl + L (Windows/Linux) untuk menambahkannya langsung ke chat.

Bekerja dalam tahap: temukan file yang kemungkinan besar, periksa yang relevan, rencanakan, ubah, dan validasi. Untuk baca repositori yang luas, gunakan subagent sehingga tugas menerima hasil yang dikompaksi daripada setiap panggilan read_file mendarat di Messages. Ketika sumber bertentangan, percayai kode yang berjalan dan test daripada komentar yang sudah usang atau catatan README yang sudah lama.

Untuk lebih banyak taktik pada repositori besar, lihat Bekerja dengan proyek besar.

Reset atau kompaksi saat Messages terisi

Dalam percakapan yang panjang, Messages mengakumulasikan konten file yang berulang, rencana yang ditinggalkan, dan output alat yang sudah usang. Mulai tugas baru dengan + (Tugas baru) saat tujuan kerja berubah atau saat thread cukup besar untuk mempengaruhi kualitas. Pertahankan batasan, bukti, dan pertanyaan terbuka. Hapus sisanya.

Bob juga mengkompaksi segmen yang lebih lama secara otomatis, tetapi kompaksi bersifat lossy dan detail dari awal Messages mungkin tidak bertahan. Lebih baik perubahan kecil yang disetujui daripada satu proses otonom yang besar sehingga diff tetap dapat ditinjau dan Bob tetap pada jalurnya.

Pelajari lebih lanjut

Lihat Buat context window baru untuk membuka rincian pada proyek sampel Galaxium Travels dan berlatih reset.

Bagaimana topik ini?