W skrócie
- Trening to nauka modelu na ogromnych zbiorach danych, a inferencja to korzystanie z już nauczonego modelu.
- Podczas inferencji wagi modelu się nie zmieniają, więc każda rozmowa zaczyna się od tej samej wiedzy.
- Odpowiedź czata to wielokrotne powtarzanie tego samego obliczenia, raz na każdy kawałek tekstu.
- Na domowym komputerze zwykle robisz inferencję gotowego modelu, a nie jego trening.
- Najważniejszym ograniczeniem w domu jest pamięć karty graficznej lub komputera, a nie sama moc obliczeniowa.
- Parametry sprzętu i ceny sprawdzaj zawsze w aktualnej ofercie i u producenta, bo zmieniają się szybko.
Dwa różne życia modelu: trening i działanie
Model AI przechodzi przez dwa wyraźnie różne etapy. Pierwszy to trening, czyli nauka na ogromnej ilości danych. Drugi to działanie, w którym gotowy model odpowiada na pytania. Dobrze to sobie wyobrazić jak szkołę i pracę zawodową. Najpierw ktoś długo się uczy, zdaje egzaminy i zdobywa wiedzę, a potem wykonuje zawód każdego dnia, korzystając z tego, czego się nauczył.
Ta różnica ma duże znaczenie praktyczne. Trening wymaga ogromnych zasobów, jest drogi i wykonywany rzadko, przez zespoły pracujące w dużych centrach danych. Działanie odbywa się za każdym razem, gdy ktoś zadaje pytanie, i może przebiegać na znacznie skromniejszym sprzęcie.
Trening: nauka w centrum danych
Podczas treningu model dostaje gigantyczne ilości tekstu, obrazów lub innych danych. Jego wewnętrzne ustawienia, czyli parametry, są stopniowo poprawiane tak, by przewidywania stawały się coraz trafniejsze. Każda poprawka jest drobna, ale takich poprawek jest bardzo dużo, a cały proces trwa długo i wymaga wielu kart graficznych pracujących równolegle.
Dlatego trening robią firmy technologiczne i instytuty badawcze, a nie zwykły użytkownik. Jego efektem jest zestaw wartości liczbowych zapisanych w pliku. Nazywa się je wagami modelu. Wagi to w pewnym sensie zapisana wiedza modelu, bez której nie da się go użyć.
Trening kończy się, zanim ktokolwiek zacznie korzystać z modelu. Model, z którym rozmawiasz w danej chwili, ma zamrożone wagi. Nowe wersje powstają po kolejnych treningach, które twórcy przeprowadzają osobno, a nie podczas Twojej rozmowy.
Inferencja, czyli pieczenie według przepisu
Inferencja, czasem nazywana po polsku wnioskowaniem, to etap działania gotowego modelu. Model dostaje wejście, na przykład Twoje pytanie, i na podstawie zapisanej wiedzy oblicza wyjście, czyli odpowiedź. Model się przy tym nie uczy. Korzysta z tego, co już ma.
Najlepiej zrozumieć to na przykładzie pieczenia. Przepis na sernik to zestaw instrukcji i proporcji, który ktoś wypracował wcześniej, często po wielu próbach. Przepis nie zmienia się, gdy go czytasz. Kiedy jednak stajesz przy blacie i wyciągasz składniki, każdy wypiek to nowa partia: inny czas, inna temperatura w piekarniku, inny wynik. Trening odpowiada wypracowywaniu przepisu, a inferencja samemu pieczeniu.
Analogia ma swoje granice. Piekarz czyta przepis i wykonuje go rękami, a model przewiduje odpowiedź krok po kroku. Sedno jednak się zgadza: przepis jest gotowy i zapisany, a każde pieczenie to osobna inferencja, która zużywa składniki i czas.
- Przepis to wagi modelu, czyli zapisana wiedza.
- Składniki to Twoje pytanie i dodatkowy tekst, który model dostaje.
- Piekarnik to karta graficzna albo procesor, który wykonuje obliczenia.
- Czas pieczenia to czas, w którym model generuje odpowiedź.
Co dzieje się krok po kroku, gdy zadajesz pytanie
Najpierw Twój tekst zostaje podzielony na tokeny, czyli małe kawałki, często fragmenty słów. Szczegóły opisujemy w osobnym poradniku o tokenach. Model zamienia je na liczby i przepuszcza przez swoją strukturę zapisanych wag.
Potem model oblicza, jakie są prawdopodobieństwa kolejnych tokenów. Wybiera jeden z nich, dokleja do odpowiedzi i zaczyna całą operację od nowa, uwzględniając już to, co dopisał. Tak powstaje zdanie, a potem cały akapit. Długa odpowiedź to więc wielokrotne uruchomienie tego samego obliczenia.
Wybór kolejnego tokenu nie zawsze jest identyczny. Steruje tym między innymi ustawienie zwane temperaturą, które wyjaśniamy w osobnym poradniku. Dlatego ta sama prośba może dać odpowiedzi sformułowane inaczej.
- Twój tekst zostaje podzielony na tokeny.
- Tokeny zamieniają się w liczby, które model przetwarza.
- Model oblicza prawdopodobieństwa następnych tokenów.
- Wybrany token trafia do odpowiedzi, a proces się powtarza.
Co z tego robi się na domowym komputerze
Na własnym komputerze zwykle nie trenujesz modelu. Robisz inferencję: pobierasz gotowy model otwarty, uruchamiasz go w odpowiednim programie i zadajesz pytania. Przy typowej konfiguracji tekst zostaje na Twoim komputerze, ale szczegóły zależą od programu, dlatego sprawdź jego ustawienia.
Najważniejsze ograniczenie to pamięć. Model musi zmieścić się w pamięci karty graficznej albo w pamięci operacyjnej komputera, a im większy model, tym więcej jej potrzebuje. Przybliżenie wygląda tak: liczbę parametrów mnożysz przez liczbę bajtów przypadających na jeden parametr, a do tego dolicza się zapas na kontekst i sam program. Dla modelu z siedmioma miliardami parametrów w pełnej precyzji wychodzi około 14 GB samych wag (7 mld razy 2 bajty). Po mocnej kompresji, czyli zapisaniu wag z mniejszą liczbą bitów, zużycie spada do kilku gigabajtów. To wyliczenie jest przybliżeniem, a rzeczywiste zużycie zależy od programu, formatu pliku i ustawień.
Przykład z życia: to jak z walizką i bagażnikiem. Nawet najmniejsza walizka musi się zmieścić w bagażniku, a bagażnikiem jest Twoja karta graficzna lub pamięć komputera. Jeśli rozważasz zakup karty, porównaj aktualne oferty na allee.pl, ale najpierw sprawdź w specyfikacji producenta, ile pamięci ma dany model. Ceny zmieniają się często, więc zerknij na nie w dniu zakupu.
Od czego zależy szybkość odpowiedzi
Dwa komputery z tym samym modelem mogą odpowiadać w zupełnie różnym tempie. Na szybkość wpływa przede wszystkim sprzęt: karta graficzna, szybkość jej pamięci i to, czy model mieści się w całości w pamięci karty. Gdy część modelu musi korzystać z wolniejszej pamięci komputera, odpowiedzi wyraźnie zwalniają.
Liczy się też długość rozmowy. Długi tekst wejściowy i długa odpowiedź oznaczają więcej obliczeń. Dlatego rozmowy z bardzo dużym kontekstem bywają wolniejsze, o czym piszemy w poradniku o oknie kontekstu.
Nie podajemy tu liczby tokenów na sekundę, bo wynik zależy od konkretnego sprzętu, programu, kompresji i ustawień, a te wartości zmieniają się wraz z nowymi wersjami oprogramowania. Sprawdź to sam: uruchom model z krótkim pytaniem i zmierz, ile czekasz na pierwsze słowo i na całą odpowiedź.
Najczęstsze nieporozumienia
Inferencja bywa mylona z uczeniem się, a to dwie różne rzeczy. Poniżej najczęstsze błędy, które widzimy u początkujących.
Każdy z tych błędów może kosztować czas, pieniądze albo spokój. Lepiej znać je z góry, zanim zaczniesz eksperymentować.
- Myślenie, że model uczy się z każdej rozmowy. Podczas zwykłej rozmowy wagi się nie zmieniają. Model pamięta tylko to, co mieści się w oknie kontekstu.
- Zakładanie, że dostawca nie wykorzystuje rozmów. To zależy od polityki firmy i ustawień konta, dlatego czytaj regulamin i opcje prywatności.
- Oczekiwanie tego samego wyniku za każdym razem. Ponieważ wybór tokenów bywa losowy, odpowiedzi się różnią.
- Ufanie każdej odpowiedzi. Model liczy to, co prawdopodobne, a nie to, co sprawdzone. Stąd biorą się halucynacje, o których piszemy osobno.
- Pobieranie modeli z przypadkowych stron. Pliki z modelem są duże, ale pochodzą czasem z niepewnych źródeł. Pobieraj z oficjalnych stron twórców lub zaufanych repozytoriów.
Lista kontrolna przed uruchomieniem modelu u siebie
Zanim zainstalujesz pierwszy model, przejdź przez kilka prostych kroków. Dzięki temu unikniesz frustracji i nie zmarnujesz godzin na pobieranie pliku, który i tak się nie zmieści w pamięci.
Pamiętaj też o bezpieczeństwie. Lokalny model nie zwalnia Cię z ostrożności, bo to, co wpiszesz, nadal jest danymi, które mogą być wrażliwe.
- Sprawdź, ile pamięci ma Twoja karta graficzna albo ile pamięci operacyjnej ma komputer.
- Wybierz model, który się zmieści, i zacznij od najmniejszego.
- Pobierz program i model z oficjalnej strony twórcy i przeczytaj instrukcję.
- Uruchom krótki test i zmierz czas pierwszej odpowiedzi.
- Nie wpisuj do modelu haseł, numerów dokumentów ani danych medycznych czy klientów bez zgody.
- Sprawdzaj każdą ważną odpowiedź w innym, wiarygodnym źródle.
Najczęstsze pytania
Inferencja AI co to takiego?
Inferencja to etap, w którym gotowy model AI przetwarza Twoje dane wejściowe, na przykład pytanie, i generuje odpowiedź. Model w tym czasie nie uczy się niczego nowego, tylko korzysta z wiedzy zapisanej w wagach. Każda odpowiedź czata to jedna inferencja, a długa odpowiedź to wiele powtórzeń tego samego obliczenia.
Czym różni się inferencja od treningu modelu?
Trening to nauka modelu na ogromnych zbiorach danych, która zmienia jego wagi i wymaga dużych zasobów. Inferencja to korzystanie z już nauczonego modelu bez zmiany wag. Trening robi się rzadko, w dużych centrach danych, a inferencja dzieje się przy każdym pytaniu.
Czy na domowym komputerze da się uruchomić inferencję?
Tak, jeśli model jest mniejszy lub mocno skompresowany i zmieści się w pamięci Twojej karty graficznej albo komputera. Potrzebny jest odpowiedni program i pobrany model otwarty. Pełnego treningu dużych modeli w domu zwykle nie da się przeprowadzić na zwykłym sprzęcie.
Ile pamięci potrzebuję, by uruchomić model AI lokalnie?
Zależy to od liczby parametrów i stopnia kompresji. Przybliżenie to liczba parametrów razy liczba bajtów na parametr, plus zapas na kontekst i program. Dla modelu z siedmioma miliardami parametrów w pełnej precyzji to około 14 GB, a po mocnej kompresji kilka gigabajtów. Dokładne wartości sprawdź w opisie konkretnego modelu i programu.
Czy model zapamiętuje moje rozmowy i uczy się z nich?
Podczas zwykłej rozmowy wagi modelu się nie zmieniają, więc model nie uczy się z Twoich pytań w sposób trwały. Pamięć bieżącej rozmowy ogranicza okno kontekstu. To, czy dostawca wykorzystuje rozmowy do przyszłych treningów, zależy od jego polityki, dlatego sprawdź ustawienia i regulamin.
Dlaczego to samo pytanie daje za każdym razem trochę inną odpowiedź?
Model wybiera kolejne tokeny na podstawie prawdopodobieństwa, a ustawienie temperatury decyduje, jak chętnie sięga po mniej oczywiste warianty. Dlatego sformułowania się zmieniają. Taka zmienność jest normalna, ale każdą ważną odpowiedź trzeba sprawdzić samodzielnie.