Field Note: niedoszacowanie pamięci przy modelu 70B

Zespół planował uruchomić model klasy 70B na pojedynczym serwerze z akceleratorami.

Budżet sprzętowy ustalono na podstawie rozmiaru skwantyzowanych wag modelu.

Dobrano pamięć akceleratora tak, by zmieściły się wagi wybranego wariantu kwantyzacji.

Test przeprowadzono początkowo na pojedynczych, krótkich zapytaniach.

Przy dłuższym kontekście i kilku równoległych rozmowach system zaczął się zacinać i zwracać błędy pamięci.

To, co działało w teście jednego użytkownika, przestało działać pod realnym obciążeniem.

Policzono pamięć na same wagi, pomijając pamięć potrzebną na kontekst i równoległe zapytania.

Zużycie pamięci rośnie wraz z długością kontekstu i liczbą jednoczesnych użytkowników, a tego nie uwzględniono.

Ograniczenie maksymalnej długości kontekstu i liczby równoległych sesji ustabilizowało pracę na istniejącym sprzęcie.

Docelowo zaplanowano zapas pamięci ponad sam rozmiar wag.

Rozmiar wag to dopiero początek rachunku. Realne zapotrzebowanie zależy od kontekstu i współbieżności.

Test wydajności trzeba prowadzić na profilu obciążenia zbliżonym do produkcji, a nie na pojedynczych zapytaniach.

Gdy planujesz budżet sprzętowy pod duży model i musisz obsłużyć wielu użytkowników naraz.

Ta ostrożność jest mniej krytyczna przy pojedynczym użytkowniku i krótkich zapytaniach, choć zapas i tak się przydaje.