RAG Clinic: zgubiony kontekst w długich rozmowach

Gdy do modelu trafia bardzo dużo tekstu, odpowiedzi zaczynają pomijać informacje z środkowej części materiału.

Zwiększenie ilości kontekstu paradoksalnie pogarsza wynik.

Model trafnie korzysta z początku i końca materiału, a gubi środek.

W długich rozmowach „zapomina” wcześniejsze ustalenia.

Duże okno kontekstu nie gwarantuje, że model równie dobrze wykorzysta każdą jego część.

Nadmiar nieistotnych fragmentów rozmywa uwagę modelu.

Umieść znaną informację celowo w środku długiego kontekstu i zapytaj o nią.

Jeśli model jej nie odnajduje, problemem jest przeciążenie kontekstu.

Podawaj mniej, ale trafniejszych fragmentów zamiast wrzucać wszystko do okna.

Porządkuj kontekst według istotności i streszczaj wcześniejsze etapy długiej rozmowy.

Porównaj jakość odpowiedzi dla wersji z kilkoma trafnymi fragmentami i z bardzo dużym kontekstem.

Często krótszy, lepiej dobrany kontekst wygrywa.

W długich procesach pomaga iteracyjne zawężanie: najpierw znaleźć właściwy dokument, potem o niego dopytać.

Streszczenia pośrednie ograniczają narastanie kontekstu.

Przekonanie, że „im większy kontekst, tym lepiej”.

Wrzucanie do okna wszystkich pobranych fragmentów bez selekcji.

Im więcej wrzucasz do kontekstu, tym większa szansa, że trafią tam dane, których użytkownik nie powinien zobaczyć — filtruj przed wysłaniem do modelu.

Duże okno kontekstu bywa sprzedawane jako rozwiązanie wszystkich problemów RAG.

Naszym zdaniem dyscyplina w doborze kontekstu daje lepsze efekty niż samo jego powiększanie.