Przejdź do treści
Centrum AI · Modele AI na własnym komputerze

Ile pamięci potrzeba na model 7B, 13B i 70B: prosta ściąga

Pytanie o pamięć karty graficznej pojawia się zwykle na samym początku, zanim ktokolwiek pobierze pierwszy model. Dobra wiadomość jest taka, że da się ją oszacować na kartce, bez znajomości technicznych detali: wystarczy pomnożyć liczbę parametrów przez liczbę bajtów na parametr i dodać zapas. W tym poradniku przeliczymy to dla modeli 7B, 13B i 70B, a na końcu znajdziesz tabelkę orientacyjną.

8 min czytania Podstawy Autor: Redakcja Allee

W skrócie

  • Pamięć potrzebna modelu to w przybliżeniu liczba parametrów razy liczba bajtów na parametr, do tego zapas na kontekst i pracę programu.
  • Oznaczenie 7B znaczy 7 miliardów parametrów, a 13B i 70B odpowiednio 13 i 70 miliardów, więc każdy wzrost liczby oznacza proporcjonalnie więcej pamięci.
  • Kwantyzacja, czyli zapis wag mniejszą liczbą bitów, potrafi zmniejszyć pamięć kilkukrotnie, zwykle kosztem pewnej utraty jakości odpowiedzi.
  • Model 7B w wersji Q4 zwykle mieści się w karcie z 8 GB VRAM, ale przy długiej rozmowie zapas może okazać się za mały.
  • Modele 70B wymagają zwykle dziesiątek gigabajtów, więc w pamięci większości domowych kart graficznych rzadko mieszczą się w całości.
  • Wartości z tabeli są przybliżeniami: przed pobraniem albo zakupem sprawdź rozmiar pliku w programie i parametry karty u producenta.

Co naprawdę zajmuje miejsce w pamięci

Model językowy to przede wszystkim ogromny zbiór liczb. Nazywamy je parametrami albo wagami. Program nauczył się ich podczas treningu i teraz, przy każdej odpowiedzi, czyta je i wykonuje na nich mnóstwo obliczeń. Wyobraź sobie wielki mikser dźwięku z milionami pokręteł: ustawienie każdego zapisujesz jako liczbę, a cały mikser działa tylko wtedy, gdy wszystkie wartości są pod ręką, czyli w pamięci.

Tu zaczyna się rola karty graficznej. Obliczenia modelu są najszybsze, gdy wagi leżą w pamięci karty, czyli w VRAM (od angielskiego video random access memory, czyli pamięci wideo karty). Jeśli VRAM ma 8 GB, a model potrzebuje 12 GB, część pracy musi odbywać się gdzie indziej, a to spowalnia odpowiedzi.

Oznaczenie 7B czytaj jako 7 miliardów parametrów. Litera B pochodzi od angielskiego słowa billion, czyli miliard. Model 13B ma 13 miliardów, a 70B ma 70 miliardów parametrów. Liczba parametrów to najprostsza miara wielkości modelu, a pamięć rośnie razem z nią w prostej proporcji.

Wzór w trzech krokach

Nie musisz znać matematyki, żeby policzyć orientacyjną pamięć. Wystarczą trzy kroki i kalkulator w telefonie. W przybliżeniu miliard bajtów to jeden gigabajt, i tak liczymy w tym poradniku.

Zapis wygląda więc tak: miliardy parametrów razy bajty na parametr dają gigabajty wag, a do tego dokładasz zapas. Wynik nie będzie co do bajta, ale daje rząd wielkości, a rząd wielkości to właśnie to, czego potrzebujesz przy wyborze sprzętu.

  • Krok 1: weź liczbę parametrów, na przykład 7 miliardów dla modelu 7B.
  • Krok 2: sprawdź, ile bajtów zajmuje jeden parametr w danej kwantyzacji. Przy zapisie FP16 to 2 bajty, przy Q8 około 1 bajt, a przy Q4 około 0,5 bajta.
  • Krok 3: dodaj zapas na kontekst (pamięć na to, co już padło w rozmowie) i na działanie samego programu. Przy krótkich i średnich rozmowach zwykle to od około 1 do 2 GB.

Przykład dla modelu 7B w trzech wersjach

Zacznijmy od najmniejszego z trzech, czyli 7B. Poniższe liczby są przykładowe. Pokazują sposób rachunku, a nie pomiar konkretnego programu.

Widzisz różnicę? Ta sama liczba parametrów w Q4 zajmuje mniej więcej trzy razy mniej niż w FP16. To jest sedno kwantyzacji, o której piszemy w osobnym poradniku. Szczegóły i kompromisy jakości zostawiamy tam, a tu wystarczy zapamiętać rząd wielkości.

  • FP16 (pełna precyzja, bez kwantyzacji): 7 miliardów razy 2 bajty to około 14 GB wag. Z zapasem wychodzi około 16 GB.
  • Q8: 7 miliardów razy 1 bajt to około 7 GB. Realny plik bywa nieco większy, więc z zapasem licz około 9–10 GB.
  • Q4: 7 miliardów razy 0,5 bajta to około 3,5 GB. Pliki Q4 zawierają dodatkowe informacje pomocnicze, potrzebne do odczytu wag, więc realnie wychodzi około 4–5 GB, a z zapasem 6–7 GB.

13B i 70B: ten sam wzór, większe liczby

Rachunek jest identyczny, zmieniają się tylko liczby. Przy modelu 13B w Q4 wychodzi około 6,5 GB wag, a z realnym plikiem i zapasem zwykle 8–10 GB. W Q8 to około 13 GB wag, a w FP16 około 26 GB.

Model 70B to już inna skala. W Q4 wagi zajmują teoretycznie około 35 GB, a realny plik jest zwykle w okolicach 40 GB. W Q8 mówimy o około 70 GB, a w FP16 o około 140 GB. Nawet bez zapasu widać, że taki model nie zmieści się w pamięci większości domowych kart.

Wniosek praktyczny jest prosty: 70B w domu to zwykle temat dla mocnego sprzętu albo dla pracy części modelu w pamięci RAM i na procesorze, a to bywa wolne. Dla codziennych zadań mniejszy model bywa po prostu wygodniejszy.

Tabela orientacyjna

Poniższa lista zbiera rachunki z powyższych przykładów. Traktuj ją jako punkt wyjścia do porównania z własnym sprzętem, a nie jako gwarancję. Wartości zależą od architektury konkretnego modelu, wersji pliku, długości rozmowy, programu i ustawień, a te zmieniają się wraz z nowymi wydaniami.

Plik to rozmiar, który zobaczysz przy pobieraniu. Zapas to dodatkowe 1–3 GB na kontekst i program. Wszystkie liczby są przybliżone i mają charakter orientacyjny.

  • 7B, Q4: plik około 4–5 GB; z zapasem około 6–7 GB.
  • 7B, Q8: plik około 7–8 GB; z zapasem około 9–10 GB.
  • 7B, FP16: plik około 14 GB; z zapasem około 16 GB.
  • 13B, Q4: plik około 7–8 GB; z zapasem około 9–10 GB.
  • 13B, Q8: plik około 13–14 GB; z zapasem około 15–16 GB.
  • 13B, FP16: plik około 26 GB; z zapasem około 28–30 GB.
  • 70B, Q4: plik około 40–43 GB; z zapasem około 45 GB lub więcej.
  • 70B, Q8: plik około 70–75 GB; z zapasem około 75–80 GB.
  • 70B, FP16: plik około 140 GB; z zapasem ponad 140 GB.

Kontekst, czyli cichy pożeracz pamięci

Im dłuższa rozmowa albo im dłuższy dokument wklejony do okna, tym więcej pamięci zajmuje to, co model już „pamięta” z bieżącej sesji. Fachowo mówi się o pamięci podręcznej (KV cache), ale na co dzień wystarczy zasada: długi kontekst to dodatkowe gigabajty.

Dlatego ten sam model raz działa płynnie na początku rozmowy, a po kilkudziesięciu wymianach zwalnia albo się zawiesza. Zanim uznasz, że sprzęt nie daje rady, rozpocznij nową rozmowę i sprawdź ponownie.

Nie zapominaj też o systemie operacyjnym i innych programach. Przeglądarka z dwudziestoma kartami, edytor filmów czy gra w tle również zajmują pamięć. Na komputerze ze zintegrowaną grafiką część pamięci RAM bywa współdzielona z grafiką, więc tym bardziej zamknij to, czego nie potrzebujesz.

Co zrobić, gdy model nie mieści się w karcie

Gdy program nie mieści modelu w karcie, może część warstw przenieść do RAM i liczyć na procesorze. Model się wtedy uruchomi, ale odpowiedzi będą wolniejsze. Przy jednym pytaniu to bywa do zaakceptowania, przy pracy na dużych tekstach już mniej.

Na komputerach z pamięcią współdzieloną, na przykład na niektórych nowszych Macach, nie ma osobnego VRAM. Cała pamięć jest wspólna, więc to łączna jej ilość decyduje o tym, co się zmieści. Jak mierzyć szybkość, opisujemy w osobnym poradniku o tokenach na sekundę.

  • Wybierz mniejszy model, na przykład 7B zamiast 13B, jeśli zadanie na to pozwala.
  • Wybierz niższą kwantyzację, na przykład Q4 zamiast Q8, i sprawdź, czy jakość odpowiedzi nadal ci wystarcza.
  • Skróć kontekst: zaczynaj nowe rozmowy i nie wklejaj całych książek naraz.
  • Zamknij programy zużywające pamięć, zanim uruchomisz model.
  • Rozważ więcej pamięci RAM albo kartę z większym VRAM, ale najpierw dokładnie sprawdź, czego naprawdę potrzebujesz.

Jak sprawdzić, ile masz pamięci, zanim cokolwiek pobierzesz

Zanim wybierzesz wersję modelu, sprawdź, co masz w komputerze. Zajmuje to dwie minuty, a oszczędza godziny pobierania plików, które i tak nie ruszą.

Przy zakupie karty albo komputera porównuj parametry w ofertach. Na allee.pl znajdziesz oferty kart i komputerów, ale zawsze czytaj opis i sprawdzaj ilość pamięci oraz producenta. Konkretnego modelu nie wybieraj na podstawie tego poradnika, tylko na podstawie aktualnych danych producenta.

  • Windows: otwórz Menedżera zadań, przejdź do zakładki Wydajność i wybierz GPU. Zobaczysz ilość pamięci dedykowanej karty.
  • macOS: w menu Apple wybierz Informacje o tym Macu i sprawdź ilość pamięci oraz typ chipu.
  • Linux: skorzystaj z narzędzi dla swojej karty albo z poleceń systemowych. Instrukcje zależą od dystrybucji i producenta, więc sprawdź ich dokumentację.
  • Rozmiar modelu: w programach do pobierania modeli, takich jak Ollama czy LM Studio, zwykle widać rozmiar pliku przy każdej wersji. Porównaj go z tabelą i dolicz zapas.

Typowe błędy przy liczeniu pamięci

Najczęściej powtarzają się te same pomyłki. Warto je znać, zanim wydasz pieniądze albo czas na pobieranie.

Na koniec przypomnienie o bezpieczeństwie: lokalny model działa na twoim komputerze, ale i tak nie wpisuj do niego haseł, numerów dokumentów ani danych osób trzecich bez potrzeby. Odpowiedzi modelu też trzeba sprawdzać, bo mogą brzmieć przekonująco i być błędne.

  • Mylenie pliku z zapotrzebowaniem na pamięć podczas rozmowy: plik to tylko część rachunku, a zapas dochodzi zawsze.
  • Liczenie na oko, że model 7B to 7 GB bez względu na wersję. Kwantyzacja zmienia wynik kilkukrotnie.
  • Zapominanie o długich rozmowach, które zjadają pamięć dużo później, niż się spodziewasz.
  • Kupowanie sprzętu pod największy model, którego nie będziesz używać na co dzień.
  • Ufanie jednej liczbie z internetu bez sprawdzenia rozmiaru pliku w swoim programie.

Najczęstsze pytania

Ile VRAM potrzebuje model 7B?

W przybliżeniu 4–5 GB wag w wersji Q4, 7–8 GB w Q8 i około 14 GB w pełnej precyzji FP16. Z zapasem na rozmowę warto doliczyć jeszcze 1–3 GB. Dokładna liczba zależy od konkretnego pliku i programu, więc sprawdź rozmiar modelu przed pobraniem.

Czy model 7B zmieści się w karcie z 8 GB VRAM?

Najczęściej tak, w wersji Q4, bo wtedy zostaje kilka gigabajtów zapasu. W Q8 zwykle nie zmieści się w całości. Przy długich rozmowach potrzebujesz więcej luzu, więc nie traktuj tego jako gwarancji.

Czy model 70B da się uruchomić na zwykłym komputerze?

Da się go uruchomić, ale zwykle nie w całości na jednej domowej karcie, bo nawet w Q4 potrzebuje dziesiątek gigabajtów. Część pracy przechodzi wtedy do RAM i procesora, co spowalnia odpowiedzi. Do większości codziennych zadań mniejszy model będzie wygodniejszy.

Czy plik modelu zajmuje tyle samo co pamięć VRAM?

Nie do końca. Plik to wagi zapisane na dysku, a podczas pracy dochodzi zapas na kontekst i działanie programu. Dlatego pamięć potrzebna do rozmowy jest zwykle większa niż rozmiar pliku, choć pozostaje z nim w bliskim związku.

Co jest ważniejsze przy modelu AI: VRAM czy RAM?

Dla szybkiego działania liczy się przede wszystkim VRAM, bo tam wagi leżą podczas obliczeń. RAM działa jak zapas: pozwala uruchomić model, który nie mieści się w karcie, ale odpowiedzi są wtedy wolniejsze. Na komputerach z pamięcią współdzieloną liczy się łączna ilość pamięci.

Czy kwantyzacja psuje odpowiedzi modelu?

Może nieco pogorszyć jakość, zwykle najbardziej widoczną w trudnych zadaniach i w języku, który model zna słabiej. Wersje Q8 są bliżej oryginału niż Q4, ale zajmują więcej pamięci. Najlepiej porównać dwie wersje na swoim zadaniu.

Udostępnij poradnik
Specjaliści AI

Potrzebujesz specjalisty od AI?

Skontaktuj się z najlepszymi — nasz zespół jest do Twojej dyspozycji. Wdrożenie AI w firmie, model AI na własnym serwerze, automatyzacja, grafika i wideo AI, opisy i sprzedaż z AI — opisz, czego potrzebujesz, a odezwiemy się z propozycją.

  • Doradzimy, od czego zacząć i co się opłaca
  • Modele lokalne, serwery i karty graficzne — dobór i uruchomienie
  • Automatyzacje, które oszczędzają godziny pracy
Przesuń, aby potwierdzić, że jesteś człowiekiem

Przeczytaj też

Modele AI na własnym komputerzeSkąd pobierać modele AI i jak sprawdzić licencję przed pobraniemModel AI uruchamiany na własnym komputerze to w praktyce plik, który zwykle waży kilka gigabajtów. Zanim go uruchomisz, musisz wiedzieć, skąd go wziąć, czy nie został podmieniony i na jakich zasadach wolno go używać. Ten poradnik pokaże Ci to krok po kroku, bez żargonu. 8 min · podstawyModele AI na własnym komputerzeKwantyzacja: jak zmniejszyć model AI, żeby zmieścił się w karcieModel AI uruchamiany na własnym komputerze potrafi ważyć wiele gigabajtów, a pamięć karty graficznej jest ograniczona. Kwantyzacja to sposób, żeby ten model ścisnąć, trochę jak zmniejszasz zdjęcie przed wysłaniem mailem, a cenę płacisz w postaci mniejszej dokładności. Ten poradnik pokaże, jak czytać oznaczenia typu Q4 czy Q8 i jak wybrać poziom do swojego sprzętu. 8 min · podstawyModele AI na własnym komputerzeJaki program wybrać: Ollama, LM Studio, Jan czy GPT4AllChcesz uruchomić model AI na własnym komputerze, ale w poradnikach trafiasz na cztery programy i nie wiesz, od którego zacząć. Ollama, LM Studio, Jan i GPT4All robią w gruncie rzeczy to samo, czyli pozwalają rozmawiać z otwartym modelem bez wysyłania rozmów do chmury, ale robią to na różne sposoby. Poniżej porównuję je pod kątem łatwości, interfejsu, serwera lokalnego i systemów oraz podpowiadam wybór dla początkującego, osoby technicznej i firmy. 8 min · podstawyModele AI na własnym komputerzeGGUF: co to za format i skąd te nazwy typu Q4_K_MKiedy pobierasz model AI na własny komputer, prawie zawsze widzisz nazwę pliku w stylu Q4_K_M, a obok rozszerzenie GGUF. Brzmi to jak szyfr, ale to prosty schemat: mówi, jak mocno model został skompresowany i w jakim formacie zapisano jego wagi. W tym poradniku rozkładamy każdy element na części i pokazujemy, od czego zacząć. 7 min · dla średnio zaawansowanychKarty graficzne do AIChłodzenie karty graficznej w obudowie pod AI: przepływ powietrza i temperaturyKarta graficzna pracująca nad modelem AI potrafi chodzić na pełnych obrotach przez wiele godzin bez przerwy, a to zupełnie inny rodzaj obciążenia niż krótka sesja w grze. Od chłodzenia zależy, czy karta utrzyma wydajność, czy zacznie zwalniać i jak długo będzie służyć. Poniżej wyjaśniam, jak działa chłodzenie, jak ułożyć przepływ powietrza w obudowie i jak sprawdzić, czy wszystko jest w porządku. 10 min · podstawyNVIDIA i nowe technologieNVIDIA Omniverse: wirtualne światy i cyfrowe bliźniaki wyjaśnione prostoWyobraź sobie, że przed przeprowadzką składasz meble w programie na komputerze i sprawdzasz, czy fotel przejdzie przez drzwi. NVIDIA Omniverse robi to samo, tyle że dla fabryk, magazynów, miast i robotów, w skali, której nie ogarnie jeden człowiek. To platforma do budowania trójwymiarowych światów i ich cyfrowych kopii, na których sprawdza się zmiany, zanim wprowadzi się je w prawdziwym świecie. 7 min · podstawy