RAG Clinic: model zmyśla mimo poprawnych źródeł

Wyszukiwanie zwraca właściwe fragmenty, a mimo to odpowiedź zawiera fakty, których w nich nie ma.

Model „uzupełnia luki” wiedzą ogólną zamiast trzymać się dostarczonego kontekstu.

Odpowiedzi brzmią wiarygodnie, ale zawierają szczegóły nieobecne w dokumentach.

Model nie sygnalizuje, gdy w źródłach brakuje informacji.

Bez wyraźnej instrukcji model domyślnie próbuje odpowiedzieć zawsze, także wtedy, gdy kontekst jest niepełny.

Mieszają się dwie warstwy: wiedza z dokumentów i wiedza wyuczona modelu.

Poproś model, by przy każdym twierdzeniu wskazał fragment źródłowy.

Jeśli nie potrafi wskazać źródła dla danego faktu, to prawdopodobnie halucynacja.

Zbuduj instrukcję, która nakazuje odpowiadać wyłącznie na podstawie dostarczonych fragmentów i przyznawać się do braku danych.

Poproś o cytowanie źródeł, aby twierdzenia były weryfikowalne.

Zadaj pytania, na które w dokumentach celowo brakuje odpowiedzi.

Dobrze skonfigurowany system powinien odpowiedzieć, że nie ma takiej informacji.

Dla zastosowań krytycznych rozważ dwustopniową weryfikację odpowiedzi względem źródeł.

Mniejsza, ostrożniejsza odpowiedź bywa lepsza niż pełna, ale częściowo zmyślona.

Brak instrukcji ograniczającej odpowiedź do kontekstu.

Karanie modelu za „nie wiem”, co w praktyce zachęca go do zgadywania.

Halucynacja w dokumencie prawnym czy medycznym to realne ryzyko — wymuszanie cytowań jest tu elementem bezpieczeństwa, nie wygody.

Większość „halucynacji” w prywatnym RAG to skutek złego retrievalu albo braku jasnej instrukcji, a nie wady modelu.

Naszym zdaniem odpowiedź „nie wiem” to cecha dojrzałego systemu, nie jego słabość.