Samouczki

Utwórz nowe okno kontekstu

Zarządzaj oknem kontekstu Boba, aby zachować pamięć, kontrolować koszty i utrzymać jakość wyników podczas złożonych lub długotrwałych konwersacji.

Każde zadanie (konwersacja) w panelu czatu ma okno kontekstu. Okno kontekstu to limit tokenów dla tego, co Bob może przechowywać w pamięci dla bieżącej sesji. Kontekst obejmuje instrukcje systemowe, schematy narzędzi, twoje reguły i umiejętności oraz pełny zapis konwersacji.

W tym samouczku otworzysz okno kontekstu, dowiesz się, co Bob ładuje przed wykonaniem rzeczywistej pracy i nauczysz się, kiedy utworzyć nowe okno kontekstu.

Pod koniec tego samouczka nauczysz się:

  1. Identyfikować każdą kategorię okna kontekstu i co Bob do niej ładuje.
  2. Mierzyć bazowy narzut kontekstu w Galaxium Travels.
  3. Obserwować wzrost Messages po promptcie repozytorium, podczas gdy stałe kategorie pozostają płaskie.
  4. Rozpoczynać nowe zadanie, aby zresetować okno kontekstu, zachowując poprzednie zadanie w historii.

Jak zorganizowany jest ten samouczek

KrokSekcjaCo robisz
1Skonfiguruj laboratoriumOtwórz Galaxium Travels i panel czatu
2Przeczytaj podział okna kontekstuWyślij minimalny prompt, następnie sprawdź świeży podział (~8.5k)
3Zwiększ wiadomości za pomocą promptuWyświetl pliki, następnie sprawdź, czy Messages wzrasta do ~4.2k (12.1k łącznie)
4Utwórz nowe okno kontekstuKliknij + (Nowe zadanie), następnie sprawdź, czy wskaźnik się resetuje

Zapoznaj się z następującymi terminami:

  • Zadanie: Jeden wątek konwersacji z własnym oknem kontekstu. Rozpoczynasz nowe okno kontekstu za pomocą + (Nowe zadanie). Twoje prompty, odpowiedzi Boba i przyciski zatwierdzania znajdują się tutaj.
  • Podział okna kontekstu: Kliknij wskaźnik użycia tokenów w prawym górnym rogu panelu czatu, aby zobaczyć, dokąd trafiają tokeny.

Sumy różnią się w zależności od serwerów MCP, reguł, umiejętności i tego, ile Bob czyta. Poniższe liczby pochodzą z Galaxium Travels w oknie 270.0k. Stałe kategorie powinny być zbliżone do tych liczb. Messages zależy od tego, o co prosisz Boba.

Wymagania wstępne

Aby ukończyć ten samouczek, potrzebujesz:

Dlaczego zarządzanie kontekstem ma znaczenie

Koszt tokenów

Tokeny są jednostką zużycia dla Boba, mierzoną w Bob coins. Dłuższe konwersacje i większe odczyty plików zużywają więcej tokenów. Utrzymywanie skoncentrowanych konwersacji zmniejsza koszty.

Każdy prompt ponownie wysyła pełny aktywny kontekst. Obejmuje to stały narzut, którego nigdy nie wpisałeś. Jednowierszowe pytanie nadal zawiera definicje narzędzi, reguły i wszystko inne, co Bob ładuje domyślnie.

Podsumowanie jest stratne

Gdy Bob osiągnie limit tokenów, Bob kondensuje starszą zawartość, aby kontynuować pracę, co powoduje utratę szczegółów. Możesz stracić przypadki brzegowe, pośrednie rozumowanie i ograniczenia, które określiłeś wiele promptów temu.

Jeśli nadal potrzebujesz szczegółów zawartości, rozpocznij nowe zadanie, zanim Bob je podsumuje.

Jakość pogarsza się przed osiągnięciem limitu

Bob obecnie używa okna 270.0k tokenów. Sprawdź swój własny wskaźnik użycia tokenów, aby poznać dokładny limit. Jakość często spada przed jego osiągnięciem. W miarę wzrostu Messages odpowiedzi stają się mniej wiarygodne.

Skonfiguruj laboratorium

  1. Sklonuj repozytorium Galaxium Travels.

    git clone -b bob-learning-path-branch https://github.com/IBM/galaxium-travels
  2. Kliknij File, a następnie Open Folder.

  3. Przejdź do sklonowanego katalogu galaxium-travels i otwórz go.

  4. Otwórz interfejs czatu Boba, klikając ikonę Boba obok paska nawigacji lub użyj skrótu Option + Command + B (macOS) lub Ctrl + Alt + B (Windows).

  5. W polu wprowadzania czatu uruchom /init. Bob skanuje repozytorium i tworzy plik AGENTS.md z regułami projektu. Kliknij Approve todo tools for task, jeśli zostaniesz o to poproszony.

    Poczekaj, aż Bob zgłosi, że zakończył. Ten AGENTS.md jest tym, co później pojawia się jako wiersz Rules w podziale okna kontekstu, więc repozytorium potrzebuje go przed zmierzeniem wartości bazowej.

Przeczytaj podział okna kontekstu

Uzyskaj świeżą wartość bazową, a następnie przeczytaj podział.

  1. Kliknij + u góry panelu czatu, aby rozpocząć nowe zadanie.

  2. Wyślij minimalny prompt, aby użyć niewielkiej ilości tokenów:

    Szybko przywitaj się.

    Poczekaj na odpowiedź Boba.

  3. Kliknij wskaźnik użycia tokenów w prawym górnym rogu panelu czatu, aby zobaczyć podział użycia.

Podział okna kontekstu

Po tej wymianie w Galaxium Travels twoje liczby będą się różnić, ale zobaczysz liczby zbliżone do:

Tokeny
Łącznie użyte8.5k (~3% pełne)
Prompt systemowy1.5k
Definicje narzędzi5.1k
Reguły830
Umiejętności454
Wiadomości590
Zarezerwowane dla odpowiedzi modelu20.0k
Dostępna przestrzeń241.5k

Jeśli Łącznie użyte jest daleko od 8.5k, sprawdź, czy rozpocząłeś świeże zadanie i wysłałeś tylko jeden prompt.

Definicje narzędzi to zwykle największa stała kategoria. Serwery MCP i wbudowane schematy narzędzi ładują się niezależnie od tego, czy je wywołujesz. Reguły pochodzą z plików projektu, takich jak AGENTS.md. Umiejętności mogą wzrosnąć później, jeśli Bob załaduje umiejętność podczas zadania.

  1. Przeczytaj każdą kategorię. Podział pokazuje, dokąd trafiają tokeny:

    KategoriaCo to jest
    Prompt systemowyPodstawowe instrukcje Boba dla tej sesji
    Definicje narzędziSchematy dla wbudowanych narzędzi Boba i podłączonych narzędzi MCP
    RegułyNiestandardowe instrukcje z twojego projektu i trybu (niestandardowe reguły, na przykład AGENTS.md)
    UmiejętnościInstrukcje z dowolnych umiejętności, które Bob załadował (interfejs może pokazywać liczbę, na przykład Skills (1 loaded))
    WiadomościTwoje prompty, odpowiedzi Boba i aktywność narzędzi w zadaniu. To jest zapis liczony jako tokeny.

    W sekcji Szacowany podział:

    • Zarezerwowane dla odpowiedzi modelu: Zarezerwowane tokeny, aby Bob mógł odpowiedzieć bez natychmiastowego osiągnięcia limitu.
    • Dostępna przestrzeń: Szacowane tokeny nadal wolne, zanim Bob będzie musiał skondensować.

    W Galaxium stałe kategorie (Prompt systemowy, Definicje narzędzi, Reguły, Umiejętności) wynoszą łącznie około 8k przed znaczącą pracą. Płacisz to przy każdym obrocie, niezależnie od tego, czy to wpisałeś.

Zwiększ wiadomości za pomocą promptu

Pozostań w tym samym zadaniu. Wyślij prompt, który wypełni zapis.

  1. Poproś o listę plików.

    Wyświetl wszystkie pliki w tym katalogu.

    Zatwierdź akcje odczytu, jeśli zostaniesz o to poproszony. Bob wyświetla pliki w repozytorium.

  2. Porównaj, co się zmieniło. Otwórz ponownie podział. W Galaxium Travels powinieneś zobaczyć liczby zbliżone do:

    KategoriaŚwieże zadaniePo wyświetleniu plikówCiągła praca (odniesienie)
    Prompt systemowy1.5k1.5k1.5k
    Definicje narzędzi5.1k5.1k5.1k
    Reguły830830830
    Umiejętności4544541.2k (1 załadowana)
    Wiadomości5904.2k19.4k
    Łącznie użyte8.5k (~3%)12.1k (~4%)28.0k (~10%)
    Dostępna przestrzeń241.5k237.9k222.0k

    Wiadomości powinny teraz wynosić około 4.2k. Jeśli jest znacznie wyżej, Bob przeczytał więcej plików niż w tym przykładzie, co jest w porządku. Chodzi o to, że Wiadomości wzrosły, podczas gdy stałe kategorie nie.

    Wynik listy i aktywność narzędzi znajdują się w zapisie. Prompt systemowy, Definicje narzędzi, Reguły i Umiejętności pozostają płaskie po jednym promptcie wyświetlania plików.

    Skrajna prawa kolumna pochodzi z dłuższej sesji Galaxium z większą liczbą odczytów i promptów uzupełniających. Umiejętności mogą wzrosnąć, jeśli Bob załaduje umiejętność (454 do 1.2k w tym przykładzie). Z czasem Wiadomości zwykle rosną najszybciej.

    Jeden prompt wyświetlania plików dodaje około 3.6k do Wiadomości w Galaxium. Stały narzut pozostaje w pobliżu 8k. Eksploracja repozytorium szybko wykorzystuje kontekst, nawet gdy narzut się nie zmienia.

Utwórz nowe okno kontekstu

Rozpocznij nowe zadanie w tym samym projekcie. Stare zadanie (konwersacja) pozostaje w historii.

  1. Kliknij + (Nowe zadanie) u góry panelu czatu.

    Wskaźnik się resetuje. Wiadomości wracają do małej liczby. Prompt systemowy, Definicje narzędzi, Reguły i Umiejętności przeładowują się do mniej więcej wartości bazowej.

  2. Zadanie, które opuściłeś, pozostaje na liście zadań i możesz do niego wrócić w dowolnym momencie. Zachowuje własny zapis i liczbę tokenów. Bob nie używa go podczas pracy w nowym zadaniu.

    Rozpocznij nowe zadanie, gdy:

    • Zmieniasz tematy lub cele pracy.
    • Wiadomości są wystarczająco duże, aby zaszkodzić jakości lub kosztom. W Galaxium 19.4k w Wiadomościach to rozsądny sygnał do zresetowania.
    • Zakończyłeś planowanie i chcesz czystego zadania do implementacji. Zobacz Planuj i implementuj złożone funkcje.

    Refleksja: Otwórz podział w nowym zadaniu. Które kategorie wróciły do wartości bazowej? Które nadal by rosły, gdybyś pozostał w starym zadaniu?

Następne kroki

W tym samouczku nauczyłeś się, jak skutecznie zarządzać oknem kontekstu. Przeczytałeś podział, zmierzyłeś ilość stałego narzutu tokenów, obserwowałeś wzrost Wiadomości po jednym promptcie wyświetlania plików i zresetowałeś za pomocą + (Nowe zadanie).

Jak oceniasz ten temat?