RAG na dokumentach prawnych — czego pilnować po dłuższym użytkowaniu

Praca z prywatnym RAG na dokumentach prawnych rządzi się innymi prawami niż typowe zastosowania informacyjne.

Poniższe wnioski to zbiór praktycznych wskazówek, na co zwraca się uwagę przy dłuższym użytkowaniu takiego systemu.

Typowym punktem wyjścia bywa jak najszerszy zbiór dokumentów i jeden ogólny sposób zadawania pytań.

Panuje wtedy założenie, że większa baza automatycznie oznacza lepsze odpowiedzi.

Przy takim podejściu nadmiar dokumentów o różnej aktualności prowadzi do mieszania wersji i sprzecznych odpowiedzi.

Zaufanie użytkowników spada, gdy system cytuje nieaktualny dokument jako obowiązujący.

W dziedzinie prawnej liczy się nie tylko trafność, ale i aktualność oraz jednoznaczne źródło.

Brak metadanych o wersji i dacie sprawia, że system nie odróżnia dokumentu obowiązującego od archiwalnego.

Pomaga uporządkowanie zbioru, oznaczenie wersji i dat oraz wymuszenie cytowania konkretnego źródła przy każdej odpowiedzi.

Dzięki temu system staje się punktem wyjścia do weryfikacji, a nie wyrocznią.

W zastosowaniach prawnych wiarygodność buduje się cytowaniem i aktualnością, nie samą wielkością bazy.

Mniejszy, zadbany zbiór z jasnymi źródłami jest cenniejszy niż duży i nieuporządkowany.

Gdy budujesz RAG dla dziedziny, w której aktualność i źródło odpowiedzi mają znaczenie krytyczne.

Dla treści czysto informacyjnych, gdzie wersjonowanie i cytowania nie są istotne, taki rygor bywa nadmiarowy.