Przejdź do treści
Centrum AI · Modele AI na własnym komputerze

Ile pamięci karty graficznej (VRAM) potrzebuje model AI na Twoim komputerze

Chcesz uruchomić model AI na własnym komputerze, a w opisach programów pojawia się skrót VRAM i liczba gigabajtów. Ten poradnik wyjaśnia, co to za pamięć i dlaczego model musi się w niej zmieścić. Pokażę prostą zasadę liczenia, przykłady dla modeli od 3 do 70 miliardów parametrów i to, co się dzieje, gdy pamięci zabraknie.

8 min czytania Podstawy Autor: Redakcja Allee

W skrócie

  • VRAM to pamięć wbudowana w kartę graficzną, z której model korzysta najszybciej, dlatego jego wagi najlepiej mieścić w niej w całości.
  • Orientacyjny rozmiar modelu to liczba parametrów razy bajty na parametr, a przy kwantyzacji 4-bit to zwykle około pół bajta na parametr.
  • Model 8B w 4-bit potrzebuje około 5 GB z zapasem, a model 70B około 38–42 GB, dlatego do dużych modeli zwykła karta domowa rzadko wystarcza.
  • Zapas na kontekst rośnie wraz z długością rozmowy i wklejanych dokumentów, więc nie planuj zużycia pamięci na styk.
  • Gdy VRAM się kończy, część modelu przechodzi do RAM i procesora, a liczba tokenów na sekundę wyraźnie spada.
  • Wszystkie liczby w poradniku są szacunkami, a konkretne wartości sprawdzisz w dokumentacji programu i na stronie modelu.

Czym jest VRAM i po co modelowi karta graficzna

VRAM to skrót od video random access memory, czyli pamięci wideo. To osobna pamięć wbudowana w kartę graficzną. Karta używa jej do danych, z którymi pracuje na bieżąco, na przykład tekstur w grach albo obrazu wyświetlanego na monitorze.

Komputer ma dwa główne magazyny pamięci. Pierwszy to RAM, czyli pamięć operacyjna, której ilość podaje się w gigabajtach przy opisie zestawu pamięci. Drugi to VRAM na karcie graficznej. Model językowy lubi VRAM, bo karta graficzna wykonuje bardzo wiele działań równolegle i szybko czyta dane z własnej pamięci.

Dobrym porównaniem jest kuchnia. VRAM to blat przy kuchence, RAM to spiżarnia w piwnicy, a dysk to magazyn za miastem. Składniki z blatu użyjesz od razu, ze spiżarni trzeba je przynieść, a z magazynu zajmuje to najdłużej. Model AI pracuje najszybciej, gdy cały jest na blacie.

Dlaczego model musi się zmieścić w pamięci

Model językowy to ogromny zbiór liczb, nazywanych wagami albo parametrami. Podczas pisania odpowiedzi program wielokrotnie przelicza te liczby, żeby wybrać kolejny fragment tekstu. Ten proces powtarza się dla każdego tokenu.

Token to najmniejsza porcja tekstu, z jaką pracuje model. Bywa częścią słowa, a czasem całym krótkim słowem. Dlatego liczba tokenów na sekundę mówi, jak szybko model pisze odpowiedź.

Wagi muszą być pod ręką przez cały czas. Jeśli leżą w całości w VRAM, karta czyta je bez przerwy i odpowiedź płynie. Jeśli część trzeba czytać z wolniejszej pamięci, każdy krok się wydłuża, a odpowiedź pojawia się w kawałkach.

Prosta zasada: parametry razy bajty na parametr

Liczbę parametrów podaje się w miliardach. Model 8B ma 8 miliardów parametrów, a model 3B ma 3 miliardy. Sama nazwa mówi już sporo o rozmiarze modelu.

Każdy parametr zajmuje określoną liczbę bajtów, zależnie od precyzji zapisu. W zapisie FP16, czyli połówkowej precyzji na 16 bitach, to 2 bajty. W 8-bit to 1 bajt, a w 4-bit pół bajta. Ponieważ miliard bajtów to w przybliżeniu jeden gigabajt, wynik mnożenia od razu wychodzi w gigabajtach:

  • Rozmiar wag w GB to w przybliżeniu liczba parametrów w miliardach razy bajty na parametr.
  • Przykład FP16: model 8B razy 2 bajty daje około 16 GB.
  • Przykład 8-bit: model 8B razy 1 bajt daje około 8 GB.
  • Przykład 4-bit: model 8B razy 0,5 bajta daje około 4 GB.

Kwantyzacja, czyli zapis wag mniejszą liczbą bitów

Kwantyzacja to zabieg, który zmniejsza precyzję zapisu wag, żeby model zajmował mniej miejsca. Można to porównać do zdjęcia w mniejszej rozdzielczości. Plik jest lżejszy i nadal pokazuje to samo, choć drobne detale mogą się zatrzeć.

W praktyce spotkasz oznaczenia Q4 i Q8. Q4 oznacza zapis w około 4 bitach na wagę, a Q8 w około 8 bitach. Im niższa liczba, tym mniejszy plik i mniejsze zużycie VRAM, ale zwykle nieco słabsza jakość odpowiedzi. Dla wielu zastosowań domowych Q4 jest rozsądnym kompromisem, a Q8 bliżej oryginału, kosztem większego pliku.

Modele do komputera osobistego często występują w formacie GGUF, który obsługuje wiele popularnych programów. Oznaczenie kwantyzacji zwykle widać w nazwie pliku. Pliki Q4 bywają w praktyce nieco większe niż sama zasada pół bajta, bo część warstw zostaje w wyższej precyzji. Dlatego przed pobraniem sprawdź rozmiar pliku na stronie, z której go pobierasz.

Przykłady dla modeli 3B, 8B, 14B, 32B i 70B w 4-bit

Poniżej orientacyjne wartości dla kwantyzacji 4-bit. Pierwsza liczba to same wagi, a druga to wynik z zapasem około 20 procent na kontekst i bufory programu. Przy długiej rozmowie zapas będzie większy. To szacunki, nie wyniki testów, bo rzeczywiste zużycie zależy od programu, ustawień i systemu.

Przeczytaj te wartości jako punkt wyjścia. Jeśli masz kartę z 8 GB VRAM, model 8B w 4-bit zwykle się zmieści, a 14B raczej nie. Przy 12 GB model 14B bywa możliwy, ale na styk. Model 32B wymaga zwykle około 24 GB, a model 70B wykracza poza typowy komputer domowy.

Ten sam model 8B w FP16 zająłby około 16 GB, czyli więcej niż większość domowych kart. Dlatego większość osób korzysta z wersji kwantyzowanych, a pełną precyzję zostawia się zastosowaniom profesjonalnym.

  • Model 3B: wagi około 1,5 GB, z zapasem około 2 GB. Mieści się w wielu komputerach z niewielką ilością VRAM.
  • Model 8B: wagi około 4 GB, z zapasem około 5 GB. Typowy punkt wyjścia dla karty z 8 GB VRAM, przy krótszych rozmowach.
  • Model 14B: wagi około 7 GB, z zapasem około 8–9 GB. Wygodniej na karcie z 12 GB lub 16 GB VRAM.
  • Model 32B: wagi około 16 GB, z zapasem około 18–20 GB. Zwykle potrzebna karta z około 24 GB VRAM albo komputer z dużą wspólną pamięcią.
  • Model 70B: wagi około 35 GB, z zapasem około 38–42 GB. Na jednej typowej karcie domowej się nie zmieści, a jego uruchamianie na domowym sprzęcie wiąże się zwykle z częściowym korzystaniem z RAM.

Zapas na kontekst, czyli pamięć jednej rozmowy

Kontekst to tekst, który model ma w głowie podczas jednej rozmowy: Twoje pytania, jego odpowiedzi i wklejone dokumenty. Model nie zapamiętuje tego na stałe. Trzyma to w pamięci roboczej, jak kartkę z notatkami leżącą na biurku.

Im dłuższa rozmowa i im więcej wklejonego tekstu, tym większa kartka. Ta pamięć rośnie razem z długością kontekstu, więc model, który na początku mieścił się w karcie, po wklejeniu długiego pliku może zacząć potrzebować więcej miejsca.

Zapas nie jest więc stałą kwotą. Przy krótkich pytaniach wystarczy niewiele, a przy analizie kilkudziesięciostronicowego dokumentu trzeba go znacznie więcej. W programach zwykle ustawiasz długość kontekstu. Mniejsza wartość oszczędza pamięć, ale model szybciej zapomina wcześniejsze fragmenty rozmowy.

Co się dzieje, gdy zabraknie VRAM

Gdy model jest większy niż wolna pamięć karty, nie musi to oznaczać, że nic nie zadziała. Wiele programów, na przykład Ollama czy LM Studio, potrafi podzielić model: część warstw zostaje na karcie, a reszta trafia do RAM i jest liczona przez procesor.

Taki podział działa, ale wolniej. Procesor i RAM wykonują to zadanie wyraźnie wolniej niż karta graficzna, a dane muszą przechodzić między pamięciami. Efekt to mniej tokenów na sekundę, czasem bardzo wyraźnie. Konkretnych liczb nie podaję, bo zależą od procesora, rodzaju pamięci i modelu.

Są sytuacje gorsze niż wolna odpowiedź. Gdy pamięci zabraknie całkowicie, program może zakończyć pracę z błędem, a system zacznie intensywnie korzystać z pliku wymiany na dysku. Cały komputer wtedy mocno zwalnia. Lepiej wtedy wybrać mniejszy model albo niższą kwantyzację.

Jak sprawdzić, ile masz pamięci i czy model się zmieści

Zanim pobierzesz model, sprawdź dwie rzeczy: ile VRAM masz naprawdę wolnej i ile zajmie model z zapasem. Poniżej proste sposoby na pierwszą część. Konkretne kroki instalacji programów opiszemy w osobnym poradniku, a aktualne ustawienia znajdziesz na stronach producentów.

Jeśli porównujesz oferty kart graficznych na allee.pl, zwracaj uwagę na ilość pamięci w opisie, ale sprawdź też dokładny model i producenta. Sama liczba gigabajtów nie mówi wszystkiego o szybkości.

  • Windows: otwórz Menedżera zadań, przejdź do karty Wydajność, wybierz GPU i odczytaj pamięć dedykowaną. To Twój VRAM.
  • macOS: sprawdź w informacjach o systemie ilość pamięci. Na komputerach z procesorem Apple pamięć jest wspólna dla procesora i grafiki, więc model korzysta z tej puli, a system też potrzebuje jej części.
  • Linux: dla kart NVIDIA polecenie nvidia-smi pokazuje zużycie pamięci karty. Dla innych kart sprawdź dokumentację sterowników.
  • Policz wagi: parametry razy bajty na parametr, a potem dodaj około 20 procent zapasu.
  • Porównaj wynik z wolną pamięcią, a nie z całą pojemnością. Zamknij przeglądarkę z dziesiątkami kart i gry, zanim uruchomisz model.
  • Po uruchomieniu sprawdź, czy model pracuje w całości na karcie. W Ollamie polecenie ollama ps pokazuje podział na GPU i procesor. Jeśli część działa na procesorze, zmniejsz kontekst albo wybierz mniejszy model lub inną kwantyzację.

Typowe błędy przy szacowaniu VRAM

Najczęstszy błąd to myślenie, że model 8B zajmuje 8 GB. Liczba parametrów to nie gigabajty. Rozmiar zależy od precyzji zapisu, więc ten sam model może zajmować kilka różnych ilości pamięci.

Drugi błąd to liczenie na styk. Wynik bez zapasu kończy się błędem albo spowolnieniem, gdy rozmowa się wydłuży. Trzeci to mylenie RAM z VRAM. Duża ilość RAM pozwala uruchomić większy model, ale nie zastąpi VRAM przy pełnej szybkości.

Pamiętaj też o prywatności. Model uruchomiony lokalnie nie wysyła rozmów do chmury, ale nie zwalnia z ostrożności. Nie wklejaj haseł, numerów dokumentów ani danych klientów bez potrzeby. Odpowiedzi modelu zawsze sprawdzaj w wiarygodnych źródłach, bo lokalny model też się myli.

  • Pobieranie pierwszego lepszego pliku bez sprawdzenia kwantyzacji i rozmiaru.
  • Wybieranie największego modelu, który w ogóle da się uruchomić, zamiast tego, który wystarczy do Twojego zadania.
  • Zakładanie, że wynik z tabeli jest gwarantowany, zamiast sprawdzenia go na własnym sprzęcie.

Najczęstsze pytania

Ile VRAM potrzebuje model AI 8B?

Model 8B w kwantyzacji 4-bit zajmuje około 4 GB samych wag, z zapasem około 5 GB. Karta z 8 GB VRAM zwykle wystarcza, ale przy długich rozmowach lepiej mieć większy zapas. Dokładny wynik zależy od programu i ustawień.

Czy model AI da się uruchomić bez karty graficznej?

Tak, model może działać na samym procesorze i RAM, ale odpowiedzi będą wyraźnie wolniejsze. Mniejsze modele w 4-bit bywają wtedy wystarczające do prostych pytań. Szybkość zależy od procesora i ilości pamięci w komputerze.

Co oznacza kwantyzacja Q4 i czy jakość mocno spada?

Kwantyzacja to zapis wag mniejszą liczbą bitów, co zmniejsza plik i zużycie VRAM. Q4 zwykle daje nieco słabsze odpowiedzi niż Q8 albo wersja oryginalna, ale przy wielu codziennych zadaniach różnica bywa mała. Sprawdź wersje, które oferuje konkretny model.

Dlaczego model działa wolno, mimo że mam dobrą kartę graficzną?

Najczęściej część modelu nie mieści się w VRAM i jest liczona przez RAM i procesor. Sprawdź w programie albo w Menedżerze zadań, ile pamięci karty jest zajęte. Zamknij inne programy lub wybierz mniejszy model.

Czy VRAM i RAM to to samo?

Nie. VRAM znajduje się na karcie graficznej i jest najszybszy dla obliczeń modelu, a RAM to pamięć płyty głównej. Model w całości w VRAM działa najszybciej, a RAM pozwala uruchomić większy model, ale wolniej.

Udostępnij poradnik
Specjaliści AI

Potrzebujesz specjalisty od AI?

Skontaktuj się z najlepszymi — nasz zespół jest do Twojej dyspozycji. Wdrożenie AI w firmie, model AI na własnym serwerze, automatyzacja, grafika i wideo AI, opisy i sprzedaż z AI — opisz, czego potrzebujesz, a odezwiemy się z propozycją.

  • Doradzimy, od czego zacząć i co się opłaca
  • Modele lokalne, serwery i karty graficzne — dobór i uruchomienie
  • Automatyzacje, które oszczędzają godziny pracy
Przesuń, aby potwierdzić, że jesteś człowiekiem

Przeczytaj też

Modele AI na własnym komputerzeCo to jest lokalny model AI i po co uruchamiać go u siebieKiedy piszesz do asystenta AI w przeglądarce, Twoje pytanie trafia na zewnętrzny serwer, a odpowiedź wraca z centrum danych, którego nie widzisz. Lokalny model AI to ten sam rodzaj programu, tylko uruchomiony na Twoim własnym komputerze, bez wysyłania rozmowy na zewnątrz. Poniżej wyjaśniam, czym się różni, jakie daje zyski i koszty oraz dla kogo taki wybór ma sens. 8 min · podstawyModele AI na własnym komputerzeOllama na Windows: co to jest i jak zainstalować krok po krokuOllama to otwarty program, który pozwala uruchomić model AI bezpośrednio na Twoim komputerze. Rozmowy z modelem odbywają się lokalnie, a na Windows cała instalacja zajmuje kilka minut. Poniżej przechodzę przez każdy krok: pobranie, instalację, pierwsze polecenie w terminalu, sprawdzenie działania i zamknięcie programu. 9 min · podstawyModele AI na własnym komputerzeOllama na macOS: instalacja i pierwszy model w kilku krokachChcesz mieć AI, które działa na Twoim Macu, bez wysyłania każdej rozmowy do chmury? Ollama to program open source, który pobiera modele i uruchamia je lokalnie, a na Macu z czipem Apple Silicon ma dobre warunki dzięki wspólnej pamięci. W tym poradniku przejdziesz przez instalację, pierwsze polecenia w Terminalu i pierwszą rozmowę z modelem. 9 min · podstawyModele AI na własnym komputerzeOllama na Linuksie: instalacja, usługa systemowa i pierwsze poleceniaOllama to program, który uruchamia model AI bezpośrednio na Twoim komputerze, więc rozmowy nie muszą lecieć do chmury. Na Linuksie instaluje się ją z terminala, a po instalacji działa w tle jako usługa systemowa, czyli program startujący razem z systemem. Ten poradnik prowadzi Cię przez instalację, sprawdzenie usługi, pobranie pierwszego modelu, podstawowe polecenia i sterownik karty NVIDIA. 8 min · dla średnio zaawansowanychKarty graficzne do AICzy stara karta graficzna (seria 10, 20, 30) nadal nadaje się do AIMasz w szafie albo w starym komputerze kartę z serii 10, 20 lub 30 i zastanawiasz się, czy nadaje się do uruchamiania modeli AI u siebie. Odpowiedź zależy głównie od trzech rzeczy: ilości pamięci VRAM, obsługi CUDA i wersji architektury. Poniżej pokażę, jak je ocenić i jak zastosować prostą regułę, zanim wydasz złotówkę. 8 min · podstawyNVIDIA i nowe technologieNVIDIA TensorRT: jak przyspieszyć model na karcie RTXWyobraź sobie nawigację, która dla konkretnego samochodu wybiera najkrótszą trasę i omija zbędne skrzyżowania. TensorRT robi coś podobnego z modelami AI: dopasowuje gotową sieć neuronową do karty graficznej NVIDIA, żeby działała szybciej i często zajmowała mniej pamięci. Na co dzień zobaczysz jego efekty raczej pośrednio, w programach, z których korzystasz, ale dobrze wiedzieć, co dzieje się w tle, gdy obraz powstaje szybciej niż się spodziewałeś. 8 min · dla średnio zaawansowanych