RAG Clinic: wstrzyknięcie instrukcji przez treść dokumentu

Dokument wczytany do systemu zawiera ukryte polecenia skierowane do modelu.

Gdy taki fragment trafia do kontekstu, model zaczyna wykonywać instrukcje z treści, a nie od użytkownika.

Model nagle ignoruje swoje zasady lub ujawnia informacje, których nie powinien.

Nietypowe zachowanie pojawia się tylko przy konkretnych dokumentach.

Model nie odróżnia z natury „danych” od „poleceń” — tekst z dokumentu traktuje tak samo jak instrukcję.

W RAG treść dokumentów trafia wprost do kontekstu, więc staje się potencjalnym wektorem ataku.

Przejrzyj dokumenty pod kątem fragmentów brzmiących jak polecenia do modelu.

Przetestuj system spreparowanym dokumentem z ukrytą instrukcją w kontrolowanych warunkach.

Wyraźnie oddzielaj w promptach treść dokumentów od instrukcji systemowych i traktuj dokumenty jako dane, nie polecenia.

Ogranicz uprawnienia i działania, które model może wykonać na podstawie samej treści.

Utrzymuj zestaw dokumentów-pułapek z próbami wstrzyknięcia i sprawdzaj, czy system im się opiera.

Powtarzaj test po każdej zmianie w promptach lub pipeline.

Dla wrażliwych wdrożeń rozważ moderację treści przed indeksowaniem.

Zasada minimalnych uprawnień ogranicza skutki udanego wstrzyknięcia.

Zakładanie, że własne dokumenty są z definicji bezpieczne.

Nadawanie modelowi zbyt szerokich uprawnień na podstawie treści dokumentów.

Traktuj każdą treść wchodzącą do kontekstu jak dane niezaufane — nawet pochodzące z wewnątrz organizacji.

Prywatne wdrożenie nie oznacza automatycznie bezpiecznego wdrożenia.

Naszym zdaniem wstrzyknięcie instrukcji to jeden z najbardziej niedocenianych wektorów ryzyka w systemach RAG.