RAG Clinic: skanowane PDF-y bez warstwy tekstowej

Dokumenty są wgrane, ale system twierdzi, że nie zawierają informacji na zadany temat.

Po sprawdzeniu okazuje się, że to skany — obrazy stron bez warstwy tekstowej.

Część dokumentów jest całkowicie „pusta” dla wyszukiwania.

Wyniki pojawiają się tylko dla plików utworzonych cyfrowo, nigdy dla skanów.

Skanowany PDF to zbiór obrazów. Bez rozpoznawania tekstu (OCR) nie istnieje tekst do zindeksowania.

Pipeline wczytujący wyłącznie warstwę tekstową pomija takie pliki po cichu.

Spróbuj zaznaczyć i skopiować tekst w podejrzanym PDF.

Jeśli się nie da, to skan — potrzebny jest OCR przed indeksowaniem.

Dodaj do pipeline krok OCR, który zamienia obraz strony na tekst przed podziałem na fragmenty.

Wybierz narzędzie OCR działające lokalnie, aby dokumenty nie opuszczały infrastruktury.

Przepuść kilka reprezentatywnych skanów przez OCR i sprawdź jakość rozpoznanego tekstu.

Następnie zadaj pytania, których odpowiedzi są tylko w tych dokumentach.

Dla formularzy o stałym układzie czasem skuteczniejsze są dedykowane szablony ekstrakcji niż ogólny OCR.

Dokumenty złej jakości warto przeskanować ponownie, zamiast walczyć z błędami rozpoznawania.

Założenie, że „PDF to zawsze tekst”.

Użycie chmurowego OCR dla dokumentów, które z zasady nie powinny opuszczać organizacji.

OCR skanów z danymi wrażliwymi musi odbywać się lokalnie — to częsty, cichy wyciek przy korzystaniu z usług zewnętrznych.

Skanowane archiwa to często największy, niedoceniany zasób wiedzy w organizacji.

Naszym zdaniem lokalny OCR bywa warunkiem, bez którego RAG w ogóle nie ma sensu w wielu instytucjach.