Practical
RAG Clinic
Rzeczywiste problemy, które pojawiają się podczas pracy z RAG — wraz z diagnozą, rozwiązaniem i sposobem weryfikacji, że działa poprawnie, bezpiecznie i prywatnie.
RAG Clinic: wstrzyknięcie instrukcji przez treść dokumentu
Złośliwa treść ukryta w dokumencie potrafi przejąć zachowanie modelu. W systemach RAG to realne ryzyko bezpieczeństwa, nie teoria.
RAG Clinic: zgubiony kontekst w długich rozmowach
Przy długich dokumentach i rozmowach model gubi informacje ze środka kontekstu. Więcej danych w oknie nie zawsze znaczy lepiej.
RAG Clinic: model zmyśla mimo poprawnych źródeł
Do kontekstu trafiają właściwe fragmenty, a model i tak dodaje informacje, których tam nie ma. Problem leży w sposobie proszenia modelu o odpowiedź.
RAG Clinic: tabele tracą sens po wczytaniu
Dane z tabel są mylone lub przypisywane do złych wierszy, bo struktura tabeli znika przy wczytywaniu. To jeden z najtrudniejszych przypadków w RAG.
RAG Clinic: skanowane PDF-y bez warstwy tekstowej
System nie widzi treści zeskanowanych dokumentów, bo to obrazy bez tekstu. Bez OCR te pliki są dla RAG niewidoczne.
RAG Clinic: słabe wyniki dla języka polskiego
System działa dobrze po angielsku, ale gubi się na polskich dokumentach. Przyczyną bywa model osadzeń słabo radzący sobie z polszczyzną.
RAG Clinic: zły podział dokumentów na fragmenty
Odpowiedzi są urwane lub pozbawione kontekstu, bo dokumenty pocięto w złych miejscach. Sposób dzielenia tekstu decyduje o jakości całego systemu.
RAG Clinic: wyszukiwanie zwraca nietrafione fragmenty
Model odpowiada błędnie, bo do kontekstu trafiają fragmenty niezwiązane z pytaniem. Problem leży w warstwie wyszukiwania, nie w samym modelu.