Przejdź do treści
Centrum AI · AI od podstaw

Co to są wagi modelu AI i dlaczego plik z modelem waży gigabajty

Pobierasz model AI i widzisz, że plik ma kilka gigabajtów, choć zwykły dokument tekstowy waży kilka kilobajtów. Skąd ta różnica? Odpowiedź kryje się w słowie „wagi”, czyli w zapisanych liczbach, które razem stanowią wiedzę modelu.

8 min czytania Podstawy Autor: Redakcja Allee

W skrócie

  • Wagi modelu to liczby zapisane w pliku, które powstały w czasie treningu i razem tworzą to, czego model się nauczył.
  • Każdy parametr to zwykle jedna waga, więc im więcej parametrów, tym większy plik.
  • Rozmiar pliku da się oszacować mnożeniem: liczba parametrów razy liczba bajtów zapisanych na jeden parametr.
  • Kwantyzacja zmniejsza plik, zapisując wagi mniejszą liczbą bitów, zwykle kosztem niewielkiej utraty dokładności.
  • Sam plik to nie wszystko, bo model potrzebuje też pamięci do pracy, dlatego przed pobraniem sprawdź wymagania sprzętu u producenta.

Czym są wagi, czyli zapisana wiedza modelu

Wyobraź sobie ogromną tablicę pokręteł. Każde pokrętło jest ustawione na jakąś liczbę, a od tego, jak ustawiłeś wszystkie naraz, zależy, co wyjdzie na końcu. Wagi modelu AI to właśnie takie pokrętła. Każda waga to liczba, zwykle z przecinkiem, na przykład 0,0231 albo -1,7. Pojedyncza liczba nic nie znaczy. Dopiero miliony i miliardy takich wartości razem pozwalają modelowi odpowiadać na pytania, tłumaczyć tekst czy pisać kod.

Kiedy mówimy, że model „wie” jakąś rzecz, mamy na myśli, że jego wagi ustawiły się tak, aby po przeczytaniu danego wejścia wygenerować sensowne wyjście. Model nie ma szuflad z faktami, do których zagląda w czasie rozmowy. Jego wiedza jest rozłożona po całej tablicy liczb, a nie zapisana w jednym miejscu.

Dla zwykłego użytkownika liczą się dwie rzeczy. Po pierwsze, wagi to właśnie to, co pobierasz, gdy ściągasz model na komputer. Po drugie, nie da się ich odczytać jak zdań w książce. Nie znajdziesz w pliku wpisu „stolicą Francji jest Paryż”. Znajdziesz miliardy liczb, które sprawiają, że model tak odpowiada.

Jak wagi powstają: trening zamiast ręcznego pisania reguł

Na początku wagi są ustawione losowo, dlatego model odpowiada bez sensu. Trening polega na tym, że pokazuje mu się ogromną liczbę przykładów i sprawdza, jak bardzo się myli. Po każdej porcji przykładów wagi są lekko korygowane, tak aby następnym razem błąd był mniejszy.

Porównanie z codziennym życiem: uczysz dziecko rozpoznawać psy. Nie podajesz mu listy reguł typu „ma cztery łapy i ogon”. Pokazujesz zdjęcia i mówisz „pies” albo „to nie pies”, a dziecko z czasem dopracowuje w głowie swoje wyobrażenie. Trening modelu działa podobnie, tylko zamiast głowy są wagi, a zamiast kilku zdjęć są ogromne zbiory tekstu.

Efektem treningu jest gotowy zestaw wag. Zapisuje się go do pliku i to właśnie on jest sercem modelu. Tego, co zostało wytrenowane, nie da się prosto podejrzeć ani poprawić ręcznie, dlatego twórcy modeli opisują go zwykle w dokumentacji, a nie w samym pliku.

Trening wykonuje zazwyczaj producent modelu. Ty najczęściej tylko korzystasz z gotowego pliku, a to, jak model odpowiada na Twoje pytania, nazywa się inferencją. Różnicę między treningiem a działaniem opisujemy w osobnym poradniku.

Parametry i wagi: dlaczego te słowa się mieszają

W rozmowach o AI słyszysz słowa „parametry” i „wagi” niemal zamiennie. Najczęściej chodzi o to samo. Parametr to jedna wartość liczbowa, którą model dostrajał w czasie treningu, czyli właśnie waga. Jeśli w opisie modelu jest napisane, że ma 7 miliardów parametrów, to znaczy, że w pliku znajduje się około 7 miliardów takich liczb.

Skrót „mld” oznacza miliard. Model „7B” ma siedem miliardów parametrów, a model „70B” siedemdziesiąt miliardów. Co dokładnie oznaczają takie nazwy i jak je czytać, opisujemy w osobnym poradniku o parametrach modelu.

W praktyce w zapisie modelu mogą znajdować się też inne dane, na przykład opisujące jego budowę. Dla zwykłego użytkownika wystarczy jednak proste przybliżenie: więcej parametrów oznacza większy plik.

Od liczby parametrów do rozmiaru pliku

Rozmiar pliku da się oszacować prostym rachunkiem. Potrzebujesz dwóch informacji: ile jest parametrów oraz ile bajtów zajmuje zapis jednego parametru. Wzór wygląda tak: liczba parametrów razy bajty na parametr. Bajt to podstawowa jednostka pamięci, a jeden gigabajt to w przybliżeniu miliard bajtów.

Poniżej przykłady wyliczone na sucho, a nie dane konkretnego modelu. Każdy wynik jest przybliżeniem, bo zakładamy zapis bez dodatkowych elementów.

Prawdziwy plik może wyjść nieco większy lub mniejszy, bo format zapisu bywa inny, a część elementów może być trzymana w wyższej dokładności. Traktuj te liczby jako rząd wielkości, a dokładny rozmiar sprawdzaj w opisie konkretnej wersji modelu.

Wniosek jest prosty. Podwojenie liczby parametrów przy tym samym zapisie oznacza mniej więcej podwojenie pliku. Zmiana zapisu z 16 bitów (2 bajty na wagę) na 4 bity (pół bajta na wagę) to zmniejszenie czterokrotne. Dlatego od tego samego modelu często istnieje kilka wersji o różnych rozmiarach.

  • Model 7 mld parametrów zapisany w 16 bitach: 7 mld razy 2 bajty, około 14 GB.
  • Ten sam model zapisany w 8 bitach: 7 mld razy 1 bajt, około 7 GB.
  • Ten sam model zapisany w 4 bitach: 7 mld razy pół bajta, około 3,5 GB.
  • Model 70 mld parametrów zapisany w 16 bitach: 70 mld razy 2 bajty, około 140 GB.

Dlaczego sam plik to nie wszystko: pamięć do pracy

Pobranie pliku to dopiero początek. Gdy model odpowiada, musi trzymać wagi w pamięci, a do tego dochodzi pamięć na bieżące obliczenia i na tekst rozmowy. Najlepiej porównać to do książki kucharskiej. Sama książka leży na półce bez problemu, ale żeby ugotować obiad, potrzebujesz jeszcze blatu, garnka i miejsca na składniki.

Dlatego model o pliku kilkunastu gigabajtów może nie ruszyć na komputerze z małą pamięcią, nawet jeśli dysk ma wolne miejsce. Wagi trzeba załadować do pamięci, z której korzysta program liczący, zwykle do pamięci karty graficznej albo pamięci operacyjnej komputera. Ile dokładnie zabraknie, zależy od programu i ustawień, więc tego też trzeba sprawdzić.

Jeśli interesuje Cię, dlaczego takie obliczenia wymagają mocnego sprzętu, odsyłam do osobnego poradnika o kartach graficznych w AI.

Kwantyzacja: jak zmniejszyć plik bez wyrzucania modelu

Kwantyzacja to zmniejszanie precyzji zapisu wag. Wyobraź sobie zdjęcie. Oryginał ma bardzo dużo odcieni kolorów, a po zapisaniu w mniejszej liczbie odcieni plik jest lżejszy, a obraz nadal rozpoznawalny. Przy kwantyzacji dzieje się coś podobnego. Każda waga zapisywana jest mniejszą liczbą bitów, więc cały plik się kurczy.

Cena jest taka, że model może odpowiadać nieco gorzej, zwłaszcza przy mocnym ściśnięciu. Zwykle różnice są niewielkie, ale nie zawsze, i zależą od zadania. Dlatego przy wyborze wersji porównaj kilka rozmiarów na swoich pytaniach, zamiast polegać na jednym opisie.

Szczegóły, czyli jakie poziomy zapisu istnieją i jak wpływają na jakość odpowiedzi, opisujemy w osobnych poradnikach o kwantyzacji w Centrum AI. Tutaj najważniejsze jest jedno: ta sama budowa modelu i ta sama liczba parametrów mogą występować w wielu wersjach o różnym rozmiarze.

  • Zapis w wyższej precyzji: większy plik, zwykle lepsza dokładność, wyższe wymagania sprzętowe.
  • Zapis w niższej precyzji: mniejszy plik, niższe wymagania, większe ryzyko słabszych odpowiedzi w trudniejszych zadaniach.

Jak sprawdzić, czy plik w ogóle Ci się przyda

Zanim pobierzesz cokolwiek, przejdź krótką listę kontrolną. Dzięki temu nie przekonasz się w połowie instalacji, że komputer nie da rady.

Jeśli brakuje Ci pamięci w karcie graficznej, nie musisz od razu kupować nowego sprzętu. Często wystarcza mniejsza, skwantyzowana wersja modelu, choć za oszczędność na pamięci można zapłacić wolniejszą pracą albo gorszymi odpowiedziami. Oferty kart graficznych i komputerów porównasz na allee.pl, ale parametry zawsze sprawdzaj w opisie produktu i na stronie producenta, a nie w starych poradnikach.

  • Sprawdź liczbę parametrów w nazwie lub opisie modelu, na przykład 7B albo 70B.
  • Sprawdź, w jakiej precyzji zapisany jest plik, np. 16 bitów, 8 bitów czy 4 bity. Zwykle widać to w nazwie wersji lub w dokumentacji.
  • Przelicz rozmiar według prostego wzoru i dolicz zapas na pamięć do pracy programu.
  • Zajrzyj na oficjalną stronę producenta modelu i do dokumentacji programu, z którego chcesz korzystać. Tam są aktualne wymagania.
  • Pobieraj pliki wyłącznie z oficjalnych źródeł, a nie z przypadkowych linków czy paczek od nieznanych osób.

Typowe błędy i bezpieczeństwo

Pierwszy błąd to przekonanie, że większy plik zawsze oznacza lepszy model do każdego zadania. Duży model może być za wolny na Twoim sprzęcie, a mniejszy w zupełności wystarczy do streszczania maila albo prostego tłumaczenia.

Drugi błąd to pobieranie plików z nieznanych źródeł. Sam plik z wagami to dane, ale do modelu często dołącza się program, który go uruchamia. Zainstalowanie niezaufanego oprogramowania to ryzyko dla całego komputera.

Trzeci błąd to wiara, że plik zawiera bazę dokumentów. Model nie przechowuje tekstów jak wyszukiwarka w bazie. Jego odpowiedzi są wynikiem obliczeń na wagach, dlatego mogą być błędne, nawet gdy brzmią pewnie. Zjawisko to opisujemy w poradniku o halucynacjach.

Bezpieczeństwo jest proste. Niezależnie od tego, czy korzystasz z modelu w chmurze, czy na własnym komputerze, nie wpisuj do AI haseł, numerów dokumentów ani danych medycznych, a także cudzych danych osobowych bez zgody tych osób. Odpowiedzi AI sprawdzaj, zwłaszcza w sprawach zdrowia, prawa i pieniędzy. AI nie zastępuje lekarza ani prawnika, a w sprawach prawnych zasady ogólne najlepiej sprawdzić w oficjalnych źródłach.

Najczęstsze pytania

Czym są wagi modelu AI?

Wagi to zapisane liczby, które powstały w czasie treningu modelu. Razem tworzą jego wiedzę i właśnie to znajduje się w pliku, który pobierasz. Każda waga jest pojedynczą liczbą, a modelu z miliardami takich liczb nie da się odczytać jak zwykłego tekstu.

Dlaczego plik z modelem AI waży kilka gigabajtów?

Ponieważ zawiera miliardy wag, a każda zajmuje kilka bajtów, zależnie od precyzji zapisu. Dla przykładu, model z 7 miliardami parametrów zapisany w 16 bitach to w przybliżeniu 14 GB. To wynik prostego mnożenia, a nie dane konkretnego pliku.

Czy mniejszy plik oznacza gorszy model?

Niekoniecznie. Kwantyzacja zmniejsza plik, zapisując wagi mniejszą liczbą bitów. Zwykle jakość spada niewiele, ale mocno skompresowana wersja może gorzej radzić sobie z trudniejszymi zadaniami. Najlepiej porównaj kilka wersji na swoich pytaniach.

Czy na laptopie uruchomię model z plikiem o rozmiarze kilkunastu gigabajtów?

Zależy od pamięci sprzętu i od programu, którego używasz. Sam plik to nie wszystko, bo model potrzebuje dodatkowej pamięci do pracy. Przelicz rozmiar wzorem liczba parametrów razy bajty na parametr, dolicz zapas i sprawdź wymagania w dokumentacji producenta.

Gdzie sprawdzić aktualne wymagania konkretnego modelu?

Najpewniej na stronie producenta modelu oraz w dokumentacji programu, z którego korzystasz. Informacje o wymaganiach bywają aktualizowane, więc nie opieraj się wyłącznie na starszych poradnikach, także na tym.

Czy wagi modelu można ręcznie edytować jak zwykły plik tekstowy?

Plik da się otworzyć, ale jego zawartość to tablica liczb, a nie tekst. Ręczna zmiana wag bez wiedzy o modelu zwykle psuje jego działanie, więc dla zwykłego użytkownika nie jest to sposób na poprawę odpowiedzi.

Udostępnij poradnik
Specjaliści AI

Potrzebujesz specjalisty od AI?

Skontaktuj się z najlepszymi — nasz zespół jest do Twojej dyspozycji. Wdrożenie AI w firmie, model AI na własnym serwerze, automatyzacja, grafika i wideo AI, opisy i sprzedaż z AI — opisz, czego potrzebujesz, a odezwiemy się z propozycją.

  • Doradzimy, od czego zacząć i co się opłaca
  • Modele lokalne, serwery i karty graficzne — dobór i uruchomienie
  • Automatyzacje, które oszczędzają godziny pracy
Przesuń, aby potwierdzić, że jesteś człowiekiem

Przeczytaj też

AI od podstawTransformer: wynalazek, dzięki któremu powstały współczesne czatyGdy piszesz do czatu zdanie i dostajesz płynną odpowiedź, za kulisami pracuje model, który musi ustalić, na które słowa w Twoim tekście zwrócić uwagę. Jednym z najważniejszych pomysłów, które to umożliwiły, jest architektura transformer, opisana po raz pierwszy w 2017 roku przez zespół badaczy z Google. W tym poradniku wyjaśniam ją bez wzorów, na przykładach z codziennego życia. 8 min · dla średnio zaawansowanychAI od podstawModele otwarte i zamknięte: czym się różnią dla zwykłego użytkownikaPiszesz w czacie AI i rzadko zastanawiasz się, gdzie tak naprawdę działa model po drugiej stronie. Jedne modele dostępne są wyłącznie przez gotową usługę, inne można pobrać i uruchomić na własnym komputerze. Ten podział wpływa na prywatność, koszty, jakość odpowiedzi i to, co możesz zrobić z wynikiem. 9 min · podstawyAI od podstawCzym jest uczenie głębokie (deep learning) i czemu zrobiło karieręKiedy czytasz, że aparat sam rozpoznaje twarze albo czat napisał za Ciebie list, za tym zwykle stoi uczenie głębokie. Jego pomysł jest prosty: budować systemy z wielu warstw, a każda z nich wyłapuje coś trochę bardziej złożonego. Poniżej wyjaśniam, co to znaczy, dlaczego ta technika rozwinęła się dopiero niedawno i co z tego wynika dla zwykłego użytkownika. 7 min · dla średnio zaawansowanychAI od podstawCo to jest multimodalność: AI, która widzi, słyszy i czytaWielu z nas poznało AI przez czat, w którym piszemy pytanie i dostajemy odpowiedź tekstem. Model multimodalny idzie dalej, bo przyjmuje także zdjęcia, nagrania głosu, a w niektórych aplikacjach również pliki z dokumentami. Ten poradnik wyjaśnia, co oznacza to słowo, jak działa w praktyce i w jakich miejscach takie narzędzia najczęściej się mylą. 7 min · podstawyCzaty i asystenci AIBurza mózgów z AI: jak generować pomysły i wybierać dobreKiedy stajesz przed pustą kartką z myślą „muszę coś wymyślić”, trudno zacząć. Czat AI potrafi w kilka sekund zaproponować kilkadziesiąt wariantów, a Ty wybierasz te, które mają sens. W tym poradniku pokazuję, jak ułożyć polecenie na dwadzieścia pomysłów, jak je przefiltrować i gdzie kończy się rola AI, a zaczyna Twoja ocena. 7 min · podstawyModele AI na własnym komputerzeOllama na Linuksie: instalacja, usługa systemowa i pierwsze poleceniaOllama to program, który uruchamia model AI bezpośrednio na Twoim komputerze, więc rozmowy nie muszą lecieć do chmury. Na Linuksie instaluje się ją z terminala, a po instalacji działa w tle jako usługa systemowa, czyli program startujący razem z systemem. Ten poradnik prowadzi Cię przez instalację, sprawdzenie usługi, pobranie pierwszego modelu, podstawowe polecenia i sterownik karty NVIDIA. 8 min · dla średnio zaawansowanych