RAG Clinic: słabe wyniki dla języka polskiego

Ten sam system świetnie odnajduje treści po angielsku, a dla polskich dokumentów zwraca słabe dopasowania.

Synonimy i odmiana wyrazów wyraźnie go mylą.

Pytania z użyciem odmienionych form lub synonimów nie trafiają do właściwych fragmentów.

Jakość wyraźnie spada na tekstach specjalistycznych w języku polskim.

Część modeli osadzeń jest trenowana głównie na danych anglojęzycznych i gorzej reprezentuje polską fleksję.

Bogata odmiana polszczyzny sprawia, że powiązane formy lądują daleko od siebie w przestrzeni wektorowej.

Porównaj wyniki dla tego samego pytania zadanego po polsku i po angielsku na równoważnych dokumentach.

Jeśli różnica jest duża, podejrzewaj model osadzeń.

Wybierz model osadzeń wspierający język polski lub dobrze radzący sobie wielojęzycznie.

Rozważ wyszukiwanie hybrydowe, które wspiera dopasowanie wektorowe słowami kluczowymi.

Zbuduj zestaw polskich pytań z odmianą i synonimami oraz oczekiwanymi fragmentami.

Zmierz, jak często właściwy fragment pojawia się wśród wyników po zmianie modelu osadzeń.

Dla wąskich słowników pomaga normalizacja i lematyzacja tekstu przed wyszukiwaniem.

Czasem wystarczy dołożyć warstwę słów kluczowych do istniejącego wyszukiwania wektorowego.

Założenie, że model osadzeń „dobry po angielsku” będzie równie dobry po polsku.

Testowanie jakości wyłącznie na przykładach angielskich.

Jeśli zmieniasz model osadzeń, pamiętaj o ponownym przeliczeniu wektorów — i zrób to na infrastrukturze, która nie wynosi danych na zewnątrz.

Język polski bywa traktowany po macoszemu w domyślnych konfiguracjach RAG.

Naszym zdaniem dobór modelu osadzeń pod polszczyznę to jeden z najtańszych sposobów na skokową poprawę jakości.