RAG Clinic: wyszukiwanie zwraca nietrafione fragmenty

Użytkownik zadaje konkretne pytanie, a system odpowiada ogólnikowo lub nie na temat.

Po sprawdzeniu okazuje się, że do modelu trafiły fragmenty dokumentów luźno związane z zapytaniem.

Odpowiedzi brzmią sensownie, ale ignorują właściwy dokument.

Te same pytania dają różne odpowiedzi w zależności od drobnych zmian sformułowania.

Wyszukiwanie semantyczne dobiera fragmenty na podstawie podobieństwa wektorów, a nie faktycznej trafności.

Krótkie lub ogólne zapytania dają wektory słabo odróżniające właściwy fragment od tła.

Wyłącz model i spójrz wyłącznie na to, jakie fragmenty zwraca warstwa wyszukiwania dla trudnego pytania.

Jeśli wśród pobranych fragmentów nie ma tego właściwego, problem jest w retrievalu, a nie w modelu.

Zwiększ liczbę pobieranych kandydatów, a następnie zastosuj ponowne rankowanie (re-ranking) najlepszych wyników.

Rozważ wyszukiwanie hybrydowe: połączenie dopasowania semantycznego ze słowami kluczowymi.

Przygotuj mały, stały zestaw pytań z oczekiwanymi fragmentami źródłowymi.

Po każdej zmianie sprawdź, czy właściwy fragment pojawia się wśród pobranych wyników.

Dla wąskich dziedzin czasem skuteczniejsze bywa dobre wyszukiwanie słów kluczowych niż samo podejście wektorowe.

Można też wzbogacić fragmenty o metadane i filtrować po nich przed rankowaniem.

Obwinianie modelu za błędy, które powstają w warstwie wyszukiwania.

Pobieranie zbyt małej liczby fragmentów i brak etapu ponownego rankowania.

Upewnij się, że wyszukiwanie respektuje uprawnienia — użytkownik nie powinien dostać fragmentu, do którego nie ma dostępu.

Jakość retrievalu jest najczęściej niedocenianym elementem wdrożeń RAG.

Naszym zdaniem większość „halucynacji” w prywatnych systemach to w rzeczywistości problem wyszukiwania, który da się naprawić bez wymiany modelu.