Manajemen context window
Pelajari cara context window 270.000 token Bob bekerja, cara setiap kategori berkontribusi pada penggunaan token, dan praktik terbaik untuk menjaga tugas tetap terfokus dan hemat biaya.
Memahami context window
Setiap tugas di panel chat memiliki context window, yang merupakan anggaran token untuk thread percakapan tersebut. Batasnya adalah 270.000 token. Semua yang Bob muat dihitung terhadapnya.
Apa yang mengisi context window
Arahkan kursor ke indikator penggunaan token di pojok kanan atas panel chat untuk melihat rincian apa yang mengonsumsi context window-mu:
| Kategori | Apa yang termasuk |
|---|---|
| System prompt | Instruksi inti Bob untuk sesi tersebut |
| Tool definitions | Skema alat bawaan dan definisi alat MCP yang terhubung |
| MCP Tools | Instruksi dan deskripsi untuk alat yang disediakan oleh server MCP yang terhubung |
| Rules | Instruksi khusus dari file aturan proyek dan mode (misalnya, AGENTS.md atau .bob/rules-*) |
| Skills | Instruksi dari skill yang Bob muat untuk percakapan |
| Messages | Prompt-mu, balasan Bob, dan aktivitas alat dalam percakapan. Ini adalah transkrip yang dihitung sebagai token. |
Mention @, output perintah, dan hasil alat semuanya dihitung terhadap Messages. Konten file tidak muncul sebagai baris terpisah.
Di bawah Estimated breakdown:
- Reserved for model response: Token yang disisihkan untuk balasan Bob berikutnya (biasanya 20.0k).
- Available space: Token bebas yang tersisa.
Overhead dasar
Kategori tetap mengonsumsi token sebelum kamu mulai bekerja dengan Bob. Pada proyek sampel Galaxium Travels, bahkan prompt sesingkat "Quickly say hi back." berjumlah sekitar 8,5k token. Sebagian besar adalah Tool definitions (5,1k), System prompt (1,5k), Rules (830), dan Skills (454). Hanya 590 token yang ada di Messages.
Bob mengirim ulang seluruh stack overhead pada setiap prompt. Menambahkan lebih banyak server MCP atau skill yang dimuat meningkatkan MCP Tools, Tool definitions, dan Skills sebelum kamu mengetik satu kata pun.
Untuk angka langsung dan panduan reset, lihat Buat context window baru.
Memantau penggunaan token
Indikator penggunaan token menampilkan persentase terisi dan fraksi yang digunakan/total terhadap batas 270.000 token. Klik untuk membuka rincian context window. Periksa kategori mana yang berkembang.
Tabel berikut menunjukkan apa yang menyebabkan setiap kategori berkembang:
| Kategori | Apa yang membuatnya berkembang |
|---|---|
| System prompt | Dimuat saat tugas dimulai. Tetap datar selama pekerjaan normal. |
| Tool definitions | Skema alat bawaan. Ditetapkan saat tugas dimulai. Tetap datar selama pekerjaan normal. |
| MCP Tools | Server MCP yang terhubung dan alat yang diaktifkan. Berkembang saat kamu menambahkan server atau alat, bukan saat kamu mengirim prompt. |
| Rules | File aturan proyek dan mode (misalnya, AGENTS.md). Ditetapkan saat tugas dibuka. |
| Skills | Skill yang Bob muat untuk tugas. Dapat meningkat jika Bob mengaktifkan skill di tengah thread. |
| Messages | Prompt-mu, balasan Bob, baca file, output alat, dan mention @. Berkembang dengan setiap giliran dan dengan eksplorasi repositori. |
Dalam pertukaran singkat, kategori tetap sering menyumbang sebagian besar total. Ketika kamu meminta Bob membaca file atau menjalankan alat, Messages biasanya menjadi kategori terbesar. Perhatikan pergeseran ini.
Available space menyusut seiring berkembangnya kategori mana pun. Reserved for model response disisihkan untuk balasan Bob berikutnya dan bukan bagian dari total yang digunakan yang ditampilkan di atasnya.
Untuk contoh terukur pada repositori nyata, lihat Buat context window baru.
Batas token
Batas ketat adalah 270.000 token per tugas. Bob mulai mengkompaksi sebelum kamu mencapai batas. Kompaksi biasanya dimulai sekitar 190.000 token dari total penggunaan.
Kompaksi konteks otomatis
Pada ambang kompaksi, Bob:
- Mempertahankan konteks terbaru dan paling relevan.
- Merangkum atau menghapus segmen percakapan yang lebih lama.
- Mempertahankan instruksi sistem kritis, definisi alat, aturan, dan skill.
- Melanjutkan dengan konteks yang dikompaksi.
Kompaksi bersifat lossy. Detail dari awal Messages mungkin tidak bertahan. Mulai tugas baru dengan + (Tugas baru) saat kamu berganti topik atau saat Messages cukup besar untuk mempengaruhi kualitas.
Dampak pada Bobcoin
Bobcoin melacak penggunaan token. Token input dan output sama-sama dihitung.
- Setiap pesan mengirim ulang seluruh konteks aktif lagi, termasuk overhead tetap.
- Bob memproses ulang semua yang sudah dimuat pada setiap pengiriman.
- Thread panjang dengan Messages berat lebih mahal per prompt selanjutnya.
Praktik terbaik
Context window bukan penyimpanan. Ini adalah anggaran token aktif yang tersedia untuk Bob di setiap langkah. Kontrol apa yang masuk. Reset atau kompaksi saat thread terisi dengan konten yang sudah usang. Periksa hasilnya dengan test, bukan hanya balasan Bob.
Cakup tugas dan percakapan
Gunakan satu tugas per tujuan kerja dan mulai dengan prompt yang sempit. Nyatakan tujuan, hasil yang diharapkan, dan batasan sebelum meminta Bob mengeksplorasi repositori. Sebutkan file dan fungsi secara eksplisit. Hindari permintaan samar seperti "baca seluruh repo" atau "periksa backend." Klik + (Tugas baru) saat topik berubah, karena konten yang tidak terkait di Messages menambah biaya dan bisa membingungkan Bob.
Jaga konteks tetap ringkas
Kategori tetap mengonsumsi token sebelum kamu mengetik apa pun. Untuk menjaga overhead rendah:
- Jaga aturan khusus dan
AGENTS.mdpendek. Sertakan hanya perintah setup, test, dan gaya (misalnya,pnpm test,mvn verify). - Hubungkan hanya server MCP, alat, dan skill yang diperlukan pekerjaan saat ini. Putuskan koneksi yang tidak digunakan, dan lebih baik konfigurasi MCP bercakupan proyek daripada global.
- Sisihkan Messages untuk bukti situasional spesifik untuk tugas ini: bug, log, dan file yang relevan. Jangan ulangi aturan tetap di setiap prompt.
Tambahkan konteks saat diperlukan
Biarkan Bob mencari dan membaca file yang ditargetkan daripada menempel blok konten besar ke thread. Gunakan context mentions untuk mereferensikan file atau rentang baris tertentu, dan hindari mention direktori yang luas:
✓ @/src/utils/validation.ts:45-67 Perbaiki logika validasi email
✗ @/src @/tests @/docs Tinjau semua dan sarankan perbaikanKamu juga bisa menyorot teks di editor dan menggunakan Cmd + L (Mac) atau Ctrl + L (Windows/Linux) untuk menambahkannya langsung ke chat.
Bekerja dalam tahap: temukan file yang kemungkinan besar, periksa yang relevan, rencanakan, ubah, dan validasi. Untuk baca repositori yang luas, gunakan subagent sehingga tugas menerima hasil yang dikompaksi daripada setiap panggilan read_file mendarat di Messages. Ketika sumber bertentangan, percayai kode yang berjalan dan test daripada komentar yang sudah usang atau catatan README yang sudah lama.
Untuk lebih banyak taktik pada repositori besar, lihat Bekerja dengan proyek besar.
Reset atau kompaksi saat Messages terisi
Dalam percakapan yang panjang, Messages mengakumulasikan konten file yang berulang, rencana yang ditinggalkan, dan output alat yang sudah usang. Mulai tugas baru dengan + (Tugas baru) saat tujuan kerja berubah atau saat thread cukup besar untuk mempengaruhi kualitas. Pertahankan batasan, bukti, dan pertanyaan terbuka. Hapus sisanya.
Bob juga mengkompaksi segmen yang lebih lama secara otomatis, tetapi kompaksi bersifat lossy dan detail dari awal Messages mungkin tidak bertahan. Lebih baik perubahan kecil yang disetujui daripada satu proses otonom yang besar sehingga diff tetap dapat ditinjau dan Bob tetap pada jalurnya.
Pelajari lebih lanjut
Lihat Buat context window baru untuk membuka rincian pada proyek sampel Galaxium Travels dan berlatih reset.
Alat
Pelajari cara Bob menggunakan alat khusus untuk membaca file, mengedit kode, menjalankan perintah, membuat subagent, menggunakan integrasi MCP, dan beralih mode untuk menyederhanakan alur kerja coding-mu.
Context poisoning
Pelajari apa itu context poisoning, cara mengenalinya dalam percakapan Bob, dan cara memulihkannya dengan memulai tugas baru atau meningkatkan kebersihan konteks.