Field Note: migracja z API w chmurze na model lokalny

Aplikacja korzystała z zewnętrznego API modelu w chmurze.

Ze względu na poufność danych zdecydowano o przejściu na model uruchamiany lokalnie.

Podmieniono punkt końcowy na lokalny model, zakładając, że wystarczy zmiana adresu usługi.

Prompty i obsługę odpowiedzi pozostawiono bez zmian.

Integracja zaczęła się sypać na parsowaniu odpowiedzi i drobnych różnicach w formacie.

Prompty dopracowane pod wcześniejszy model dawały na lokalnym gorsze wyniki.

Różne modele inaczej reagują na te same instrukcje — prompt nie jest uniwersalny.

Aplikacja opierała się na nieformalnych założeniach co do formatu odpowiedzi, które przestały obowiązywać.

Dostosowanie promptów do nowego modelu i wymuszenie ustrukturyzowanego formatu odpowiedzi ustabilizowało integrację.

Dodanie warstwy walidacji odpowiedzi uodporniło aplikację na drobne różnice.

Migracja modelu to nie podmiana adresu, lecz ponowne dostrojenie promptów i kontraktu danych.

Wymuszony, ustrukturyzowany format odpowiedzi znacząco ułatwia takie przejścia.

Gdy przenosisz istniejącą aplikację z API w chmurze na model lokalny ze względu na poufność lub koszt.

Jeśli dane nie są wrażliwe, a skala mała, pełna migracja bywa nieopłacalna wobec nakładu pracy.