W skrócie
- Pamięć potrzebna modelu to w przybliżeniu liczba parametrów razy liczba bajtów na parametr, do tego zapas na kontekst i pracę programu.
- Oznaczenie 7B znaczy 7 miliardów parametrów, a 13B i 70B odpowiednio 13 i 70 miliardów, więc każdy wzrost liczby oznacza proporcjonalnie więcej pamięci.
- Kwantyzacja, czyli zapis wag mniejszą liczbą bitów, potrafi zmniejszyć pamięć kilkukrotnie, zwykle kosztem pewnej utraty jakości odpowiedzi.
- Model 7B w wersji Q4 zwykle mieści się w karcie z 8 GB VRAM, ale przy długiej rozmowie zapas może okazać się za mały.
- Modele 70B wymagają zwykle dziesiątek gigabajtów, więc w pamięci większości domowych kart graficznych rzadko mieszczą się w całości.
- Wartości z tabeli są przybliżeniami: przed pobraniem albo zakupem sprawdź rozmiar pliku w programie i parametry karty u producenta.
Co naprawdę zajmuje miejsce w pamięci
Model językowy to przede wszystkim ogromny zbiór liczb. Nazywamy je parametrami albo wagami. Program nauczył się ich podczas treningu i teraz, przy każdej odpowiedzi, czyta je i wykonuje na nich mnóstwo obliczeń. Wyobraź sobie wielki mikser dźwięku z milionami pokręteł: ustawienie każdego zapisujesz jako liczbę, a cały mikser działa tylko wtedy, gdy wszystkie wartości są pod ręką, czyli w pamięci.
Tu zaczyna się rola karty graficznej. Obliczenia modelu są najszybsze, gdy wagi leżą w pamięci karty, czyli w VRAM (od angielskiego video random access memory, czyli pamięci wideo karty). Jeśli VRAM ma 8 GB, a model potrzebuje 12 GB, część pracy musi odbywać się gdzie indziej, a to spowalnia odpowiedzi.
Oznaczenie 7B czytaj jako 7 miliardów parametrów. Litera B pochodzi od angielskiego słowa billion, czyli miliard. Model 13B ma 13 miliardów, a 70B ma 70 miliardów parametrów. Liczba parametrów to najprostsza miara wielkości modelu, a pamięć rośnie razem z nią w prostej proporcji.
Wzór w trzech krokach
Nie musisz znać matematyki, żeby policzyć orientacyjną pamięć. Wystarczą trzy kroki i kalkulator w telefonie. W przybliżeniu miliard bajtów to jeden gigabajt, i tak liczymy w tym poradniku.
Zapis wygląda więc tak: miliardy parametrów razy bajty na parametr dają gigabajty wag, a do tego dokładasz zapas. Wynik nie będzie co do bajta, ale daje rząd wielkości, a rząd wielkości to właśnie to, czego potrzebujesz przy wyborze sprzętu.
- Krok 1: weź liczbę parametrów, na przykład 7 miliardów dla modelu 7B.
- Krok 2: sprawdź, ile bajtów zajmuje jeden parametr w danej kwantyzacji. Przy zapisie FP16 to 2 bajty, przy Q8 około 1 bajt, a przy Q4 około 0,5 bajta.
- Krok 3: dodaj zapas na kontekst (pamięć na to, co już padło w rozmowie) i na działanie samego programu. Przy krótkich i średnich rozmowach zwykle to od około 1 do 2 GB.
Przykład dla modelu 7B w trzech wersjach
Zacznijmy od najmniejszego z trzech, czyli 7B. Poniższe liczby są przykładowe. Pokazują sposób rachunku, a nie pomiar konkretnego programu.
Widzisz różnicę? Ta sama liczba parametrów w Q4 zajmuje mniej więcej trzy razy mniej niż w FP16. To jest sedno kwantyzacji, o której piszemy w osobnym poradniku. Szczegóły i kompromisy jakości zostawiamy tam, a tu wystarczy zapamiętać rząd wielkości.
- FP16 (pełna precyzja, bez kwantyzacji): 7 miliardów razy 2 bajty to około 14 GB wag. Z zapasem wychodzi około 16 GB.
- Q8: 7 miliardów razy 1 bajt to około 7 GB. Realny plik bywa nieco większy, więc z zapasem licz około 9–10 GB.
- Q4: 7 miliardów razy 0,5 bajta to około 3,5 GB. Pliki Q4 zawierają dodatkowe informacje pomocnicze, potrzebne do odczytu wag, więc realnie wychodzi około 4–5 GB, a z zapasem 6–7 GB.
13B i 70B: ten sam wzór, większe liczby
Rachunek jest identyczny, zmieniają się tylko liczby. Przy modelu 13B w Q4 wychodzi około 6,5 GB wag, a z realnym plikiem i zapasem zwykle 8–10 GB. W Q8 to około 13 GB wag, a w FP16 około 26 GB.
Model 70B to już inna skala. W Q4 wagi zajmują teoretycznie około 35 GB, a realny plik jest zwykle w okolicach 40 GB. W Q8 mówimy o około 70 GB, a w FP16 o około 140 GB. Nawet bez zapasu widać, że taki model nie zmieści się w pamięci większości domowych kart.
Wniosek praktyczny jest prosty: 70B w domu to zwykle temat dla mocnego sprzętu albo dla pracy części modelu w pamięci RAM i na procesorze, a to bywa wolne. Dla codziennych zadań mniejszy model bywa po prostu wygodniejszy.
Tabela orientacyjna
Poniższa lista zbiera rachunki z powyższych przykładów. Traktuj ją jako punkt wyjścia do porównania z własnym sprzętem, a nie jako gwarancję. Wartości zależą od architektury konkretnego modelu, wersji pliku, długości rozmowy, programu i ustawień, a te zmieniają się wraz z nowymi wydaniami.
Plik to rozmiar, który zobaczysz przy pobieraniu. Zapas to dodatkowe 1–3 GB na kontekst i program. Wszystkie liczby są przybliżone i mają charakter orientacyjny.
- 7B, Q4: plik około 4–5 GB; z zapasem około 6–7 GB.
- 7B, Q8: plik około 7–8 GB; z zapasem około 9–10 GB.
- 7B, FP16: plik około 14 GB; z zapasem około 16 GB.
- 13B, Q4: plik około 7–8 GB; z zapasem około 9–10 GB.
- 13B, Q8: plik około 13–14 GB; z zapasem około 15–16 GB.
- 13B, FP16: plik około 26 GB; z zapasem około 28–30 GB.
- 70B, Q4: plik około 40–43 GB; z zapasem około 45 GB lub więcej.
- 70B, Q8: plik około 70–75 GB; z zapasem około 75–80 GB.
- 70B, FP16: plik około 140 GB; z zapasem ponad 140 GB.
Kontekst, czyli cichy pożeracz pamięci
Im dłuższa rozmowa albo im dłuższy dokument wklejony do okna, tym więcej pamięci zajmuje to, co model już „pamięta” z bieżącej sesji. Fachowo mówi się o pamięci podręcznej (KV cache), ale na co dzień wystarczy zasada: długi kontekst to dodatkowe gigabajty.
Dlatego ten sam model raz działa płynnie na początku rozmowy, a po kilkudziesięciu wymianach zwalnia albo się zawiesza. Zanim uznasz, że sprzęt nie daje rady, rozpocznij nową rozmowę i sprawdź ponownie.
Nie zapominaj też o systemie operacyjnym i innych programach. Przeglądarka z dwudziestoma kartami, edytor filmów czy gra w tle również zajmują pamięć. Na komputerze ze zintegrowaną grafiką część pamięci RAM bywa współdzielona z grafiką, więc tym bardziej zamknij to, czego nie potrzebujesz.
Co zrobić, gdy model nie mieści się w karcie
Gdy program nie mieści modelu w karcie, może część warstw przenieść do RAM i liczyć na procesorze. Model się wtedy uruchomi, ale odpowiedzi będą wolniejsze. Przy jednym pytaniu to bywa do zaakceptowania, przy pracy na dużych tekstach już mniej.
Na komputerach z pamięcią współdzieloną, na przykład na niektórych nowszych Macach, nie ma osobnego VRAM. Cała pamięć jest wspólna, więc to łączna jej ilość decyduje o tym, co się zmieści. Jak mierzyć szybkość, opisujemy w osobnym poradniku o tokenach na sekundę.
- Wybierz mniejszy model, na przykład 7B zamiast 13B, jeśli zadanie na to pozwala.
- Wybierz niższą kwantyzację, na przykład Q4 zamiast Q8, i sprawdź, czy jakość odpowiedzi nadal ci wystarcza.
- Skróć kontekst: zaczynaj nowe rozmowy i nie wklejaj całych książek naraz.
- Zamknij programy zużywające pamięć, zanim uruchomisz model.
- Rozważ więcej pamięci RAM albo kartę z większym VRAM, ale najpierw dokładnie sprawdź, czego naprawdę potrzebujesz.
Jak sprawdzić, ile masz pamięci, zanim cokolwiek pobierzesz
Zanim wybierzesz wersję modelu, sprawdź, co masz w komputerze. Zajmuje to dwie minuty, a oszczędza godziny pobierania plików, które i tak nie ruszą.
Przy zakupie karty albo komputera porównuj parametry w ofertach. Na allee.pl znajdziesz oferty kart i komputerów, ale zawsze czytaj opis i sprawdzaj ilość pamięci oraz producenta. Konkretnego modelu nie wybieraj na podstawie tego poradnika, tylko na podstawie aktualnych danych producenta.
- Windows: otwórz Menedżera zadań, przejdź do zakładki Wydajność i wybierz GPU. Zobaczysz ilość pamięci dedykowanej karty.
- macOS: w menu Apple wybierz Informacje o tym Macu i sprawdź ilość pamięci oraz typ chipu.
- Linux: skorzystaj z narzędzi dla swojej karty albo z poleceń systemowych. Instrukcje zależą od dystrybucji i producenta, więc sprawdź ich dokumentację.
- Rozmiar modelu: w programach do pobierania modeli, takich jak Ollama czy LM Studio, zwykle widać rozmiar pliku przy każdej wersji. Porównaj go z tabelą i dolicz zapas.
Typowe błędy przy liczeniu pamięci
Najczęściej powtarzają się te same pomyłki. Warto je znać, zanim wydasz pieniądze albo czas na pobieranie.
Na koniec przypomnienie o bezpieczeństwie: lokalny model działa na twoim komputerze, ale i tak nie wpisuj do niego haseł, numerów dokumentów ani danych osób trzecich bez potrzeby. Odpowiedzi modelu też trzeba sprawdzać, bo mogą brzmieć przekonująco i być błędne.
- Mylenie pliku z zapotrzebowaniem na pamięć podczas rozmowy: plik to tylko część rachunku, a zapas dochodzi zawsze.
- Liczenie na oko, że model 7B to 7 GB bez względu na wersję. Kwantyzacja zmienia wynik kilkukrotnie.
- Zapominanie o długich rozmowach, które zjadają pamięć dużo później, niż się spodziewasz.
- Kupowanie sprzętu pod największy model, którego nie będziesz używać na co dzień.
- Ufanie jednej liczbie z internetu bez sprawdzenia rozmiaru pliku w swoim programie.
Najczęstsze pytania
Ile VRAM potrzebuje model 7B?
W przybliżeniu 4–5 GB wag w wersji Q4, 7–8 GB w Q8 i około 14 GB w pełnej precyzji FP16. Z zapasem na rozmowę warto doliczyć jeszcze 1–3 GB. Dokładna liczba zależy od konkretnego pliku i programu, więc sprawdź rozmiar modelu przed pobraniem.
Czy model 7B zmieści się w karcie z 8 GB VRAM?
Najczęściej tak, w wersji Q4, bo wtedy zostaje kilka gigabajtów zapasu. W Q8 zwykle nie zmieści się w całości. Przy długich rozmowach potrzebujesz więcej luzu, więc nie traktuj tego jako gwarancji.
Czy model 70B da się uruchomić na zwykłym komputerze?
Da się go uruchomić, ale zwykle nie w całości na jednej domowej karcie, bo nawet w Q4 potrzebuje dziesiątek gigabajtów. Część pracy przechodzi wtedy do RAM i procesora, co spowalnia odpowiedzi. Do większości codziennych zadań mniejszy model będzie wygodniejszy.
Czy plik modelu zajmuje tyle samo co pamięć VRAM?
Nie do końca. Plik to wagi zapisane na dysku, a podczas pracy dochodzi zapas na kontekst i działanie programu. Dlatego pamięć potrzebna do rozmowy jest zwykle większa niż rozmiar pliku, choć pozostaje z nim w bliskim związku.
Co jest ważniejsze przy modelu AI: VRAM czy RAM?
Dla szybkiego działania liczy się przede wszystkim VRAM, bo tam wagi leżą podczas obliczeń. RAM działa jak zapas: pozwala uruchomić model, który nie mieści się w karcie, ale odpowiedzi są wtedy wolniejsze. Na komputerach z pamięcią współdzieloną liczy się łączna ilość pamięci.
Czy kwantyzacja psuje odpowiedzi modelu?
Może nieco pogorszyć jakość, zwykle najbardziej widoczną w trudnych zadaniach i w języku, który model zna słabiej. Wersje Q8 są bliżej oryginału niż Q4, ale zajmują więcej pamięci. Najlepiej porównać dwie wersje na swoim zadaniu.