W skrócie
- VRAM to pamięć karty graficznej i zwykle to ona, a nie szybkość rdzeni, ogranicza wielkość modelu, który uruchomisz.
- Orientacyjnie model zajmuje w pamięci liczbę miliardów parametrów razy liczbę bitów podzieloną przez osiem, a do tego dochodzi zapas na kontekst i program.
- Kwantyzacja, czyli zapisanie wag mniejszą liczbą bitów, może kilkukrotnie zmniejszyć zużycie pamięci, ale kosztem jakości odpowiedzi.
- Dla początkującego najrozsądniej celować w 12 do 16 GB, bo mieszczą one modele dające użyteczne odpowiedzi w zwykłych zadaniach.
- Wszystkie wartości w tym poradniku są przybliżeniami, więc przed zakupem sprawdź aktualne dane producenta karty i wymagania programu, którego chcesz używać.
Dlaczego to VRAM, a nie sama moc karty, decyduje
Karta graficzna do AI pracuje w dwóch rolach: liczy odpowiedzi i trzyma model w pamięci. Ta druga rola jest na start ważniejsza. Model językowy to zbiór wag, czyli liczb, które muszą być pod ręką przez cały czas pracy. Jeśli wszystkie zmieszczą się w VRAM, odpowiedzi płyną szybko. Jeśli nie, część modelu ląduje w zwykłej pamięci RAM, a program zaczyna czekać na dane drogą, która jest wolniejsza.
Porównaj to do kuchni. Blat to VRAM: leżą na nim składniki potrzebne do gotowania w danej chwili. Szafka to RAM: jest większa, ale za każdym razem trzeba po coś biegać. Nawet najszybszy kucharz nie pomoże, jeśli co chwilę musi wychodzić do spiżarni. Dlatego w AI pytanie o pamięć wyprzedza pytanie o taktowanie rdzeni.
Jedna uwaga na początek: VRAM nie rozwiązuje wszystkiego. Określa, co w ogóle wejdzie do karty, ale o tym, jak szybko odpowiedź pojawi się na ekranie, decyduje też przepustowość pamięci. Tym tematem zajmuje się osobny poradnik o tokenach na sekundę.
Prosty wzór: ile pamięci zajmie model
Tę liczbę można oszacować na kartce, bez wiedzy technicznej. Potrzebne są dwie informacje. Pierwsza to liczba parametrów modelu, zapisywana w miliardach. Na stronie modelu często zobaczysz zapis typu 8B, co oznacza osiem miliardów parametrów. Druga to liczba bitów, na których model został zapisany po kompresji.
Wzór orientacyjny wygląda tak: miliardy parametrów razy bity, podzielone przez 8, daje gigabajty samych wag. Do tego trzeba dodać zapas na kontekst, czyli tekst, który program trzyma w pamięci podczas rozmowy, oraz na sam program. Dla bezpieczeństwa przyjmij zapas około 20 procent, a przy długich dokumentach więcej.
- Krok 1: znajdź liczbę parametrów modelu, na przykład 8 mld.
- Krok 2: sprawdź poziom kwantyzacji, na przykład 4 bity.
- Krok 3: policz 8 razy 4, a wynik podziel przez 8. Wychodzi 4 GB samych wag.
- Krok 4: dolicz 20 procent zapasu. Wychodzi około 5 GB, czyli wynik poglądowy.
- Pamiętaj, że liczby z tego przykładu są poglądowe. Rzeczywiste zużycie zależy od programu, sposobu zapisu modelu i ustawień, więc wynik traktuj jako punkt wyjścia do sprawdzenia, a nie gwarancję.
Co realnie mieści się w 8, 12, 16, 24 i 32 GB
Poniższe wartości dotyczą modeli językowych zapisanych w popularnym, średnim poziomie kwantyzacji, czyli w okolicach 4 bitów, z umiarkowanym kontekstem. To przybliżenia, a nie tabela producenta. Różne modele o tej samej liczbie parametrów mogą zajmować różnie dużo miejsca, a dłuższa rozmowa dorzuca swoje.
Traktuj poniższą listę jako orientację, którą potem zweryfikujesz na konkretnym modelu i w konkretnym programie.
- 8 GB: modele rzędu 7–8 mld parametrów w 4 bitach. Dobre do nauki, prostego pisania i streszczeń krótkich tekstów. Dłuższa rozmowa szybko zabiera resztę miejsca.
- 12 GB: modele około 7–14 mld parametrów w 4 bitach, z zapasem na dłuższą rozmowę. Wygodny start dla osoby, która chce się uczyć i testować różne zadania.
- 16 GB: modele około 13–20 mld parametrów w 4 bitach. Lepsza jakość odpowiedzi i większy komfort przy dłuższych dokumentach, choć przy największych modelach z tej grupy trzeba pilnować długości kontekstu.
- 24 GB: modele rzędu 30–34 mld parametrów w 4 bitach. Tu zaczyna się wygodna praca z bardziej wymagającymi zadaniami, na przykład analizą długich tekstów czy programowaniem.
- 32 GB: modele około 30 mld parametrów w wyższym poziomie zapisu, na przykład 6 bitów, albo w 4 bitach z dużym zapasem na kontekst. Modele rzędu 70 mld parametrów w 4 bitach zwykle nie mieszczą się w tej pamięci, więc potrzebujesz dwóch kart albo innego podejścia.
Kwantyzacja i kontekst: dwa pokrętła, które zmieniają wynik
Kwantyzacja to sposób zapisu wag mniejszą liczbą bitów. Porównaj to do zdjęcia: plik w pełnej jakości jest najlepszy, ale duży. Mocno skompresowany zajmuje mało miejsca, a drobne detale się rozmywają. Dla większości osób zapis w okolicach 4 bitów jest rozsądnym kompromisem. Im mniej bitów, tym mniejszy model w pamięci, ale tym większa szansa na słabsze odpowiedzi, zwłaszcza w zadaniach wymagających precyzji.
Kontekst to wszystko, co model ma przed oczami: Twoje pytania, wcześniejsze wiadomości i wklejone dokumenty. Im dłuższa rozmowa lub tekst, tym więcej pamięci zabiera. Program może pozwalać na duży kontekst, ale karta tego nie uniesie bez spadku wygody. Dwa takie same modele mogą więc zachowywać się różnie, gdy jeden z nich dostaje długi dokument.
- Zacznij od średniego poziomu kwantyzacji i sprawdź, czy odpowiedzi są dla Ciebie wystarczające.
- Gdy model się nie mieści, najpierw skróć kontekst albo wybierz mniejszy model, zanim obniżysz jakość zapisu.
- Nie oceniaj jakości po jednym pytaniu. Przygotuj 5–10 własnych zadań i porównaj wyniki.
Rekomendacja dla początkującego: od 12 do 16 GB
Jeśli dopiero zaczynasz, celuj w 12 do 16 GB VRAM. Ta ilość pozwala uruchomić modele, które dają użyteczne odpowiedzi w pisaniu, tłumaczeniu, streszczeniach i prostym programowaniu, bez ciągłego walczenia z brakiem miejsca. Jeśli chcesz tylko sprawdzić, czy AI Ci się przyda, 8 GB wystarczy na pierwsze próby.
Jeśli planujesz intensywną pracę, na przykład analizę długich dokumentów albo lokalnego asystenta w małej firmie, rozważ 24 GB lub więcej. Różnica między 16 a 24 GB to nie tylko większy model, ale też spokojniejszy zapas na kontekst i na inne programy działające w tle.
Nie kupuj wyłącznie po liczbie gigabajtów. Sprawdź generację karty, przepustowość pamięci i to, czy program, którego chcesz używać, oficjalnie wspiera dany model karty. Parametry znajdziesz na stronie producenta, a ceny porównasz w aktualnych ofertach, na przykład na allee.pl, gdzie łatwo zestawić kilka kart z tą samą ilością VRAM i zobaczyć różnice między sprzedawcami.
Nowa czy używana karta z tą samą pamięcią
Dwie karty z taką samą ilością VRAM nie są równe. Liczy się też architektura, czyli generacja układu, oraz wsparcie oprogramowania. Nowsza karta z mniejszą pamięcią może być gorszym wyborem niż starsza z większą i odwrotnie. Dlatego ilość pamięci to pierwszy filtr, a nie jedyne kryterium.
Używana karta bywa atrakcyjna, bo za tę samą liczbę gigabajtów możesz zapłacić mniej. Trzeba jednak sprawdzić jej stan, historię użytkowania i to, czy ma jeszcze jakąś gwarancję. Szczegóły opisuje osobny poradnik o zakupie używanych kart. Nowa karta daje pewność stanu, ale kosztuje więcej, a używana oferuje często więcej VRAM za te same pieniądze, pod warunkiem dokładnego sprawdzenia.
Dwie karty naraz i model większy niż karta
Dwie karty mogą pracować razem, a niektóre programy potrafią rozłożyć model na obie. Wtedy pamięć się sumuje: dwie karty po 12 GB dają w teorii około 24 GB dostępnej przestrzeni. To jednak nie jest proste dodawanie. Program musi wspierać pracę na kilku kartach, komunikacja między nimi bywa wolniejsza niż wewnątrz jednej karty, a zasilacz, obudowa i płyta główna też muszą na to pozwalać. Dla początkującego jedna karta z większą pamięcią jest zwykle prostsza. Szczegóły opisuje osobny poradnik o dwóch kartach do AI.
Gdy model jest większy niż VRAM, program może przenieść część danych do zwykłej pamięci RAM. Odpowiedzi nadal się pojawią, ale wolniej, bo dane wędrują dłuższą drogą. To rozwiązanie awaryjne do testów, a do codziennej pracy bywa męczące.
NVIDIA, AMD czy Intel: pamięć to nie wszystko
Nawet przy takiej samej ilości VRAM wybór producenta ma znaczenie. Najwięcej gotowych narzędzi do lokalnego AI działa na kartach NVIDIA, bo wsparcie oprogramowania jest tam najszersze. Karty AMD i Intel są obsługiwane w coraz większej liczbie programów, ale wymagają więcej sprawdzenia: czy konkretny program, system i sterownik działają razem z danym modelem karty.
Zanim kupisz, przeczytaj dokumentację wybranego programu i sekcję o obsługiwanym sprzęcie. Porównanie producentów rozwijamy w osobnym poradniku. Tu najważniejsze jest, żeby nie kupować karty na podstawie samej liczby gigabajtów, jeśli nie wiesz, czy program ją obsłuży.
- Sprawdź listę wspieranego sprzętu w dokumentacji programu.
- Sprawdź, jakie sterowniki producent udostępnia dla Twojego systemu operacyjnego.
- Poszukaj opinii osób, które mają tę samą kartę i ten sam program.
Jak sprawdzić, ile VRAM masz i czy model się mieści
W Windows otwórz Menedżera zadań, przejdź do zakładki Wydajność i wybierz GPU. Zobaczysz nazwę karty i ilość dedykowanej pamięci. Na Linuksie z kartą NVIDIA polecenie nvidia-smi pokaże model karty oraz zajętość pamięci. Ta informacja przydaje się też podczas pracy: po uruchomieniu modelu zużycie VRAM rośnie, więc zobaczysz, ile zostało zapasu.
Jeśli Twój komputer ma tylko kartę zintegrowaną z procesorem, pamięć działa inaczej i zwykle nie jest to pamięć dedykowana. Taka konfiguracja mocno ogranicza wybór modeli.
Jedna sprawa niezwiązana bezpośrednio z kartą, ale ważna: lokalny model działający na Twoim komputerze nie jest automatycznie bezpieczny dla danych. Nie wpisuj do niego haseł, numerów dokumentów ani danych klientów, których nie wolno udostępniać. Odpowiedzi AI sprawdzaj, zanim je wykorzystasz.
- Sprawdź nazwę karty i ilość dedykowanej pamięci VRAM.
- Policz rozmiar modelu wzorem i dolicz około 20 procent zapasu.
- Uruchom model i obserwuj zużycie pamięci przy dłuższej rozmowie.
- Jeśli odpowiedzi są bardzo wolne, sprawdź, czy część modelu nie trafiła do pamięci RAM.
- Przed zakupem zweryfikuj aktualne dane na stronie producenta karty.
Najczęstsze pytania
Ile VRAM potrzeba do AI na start?
Na początek wystarczy 8 GB, ale wygodniej jest mieć 12 do 16 GB. Taka pamięć mieści modele dające użyteczne odpowiedzi w zwykłych zadaniach. Dokładny wynik zależy od konkretnego modelu i programu, więc sprawdź wymagania narzędzia, którego chcesz użyć.
Czy 8 GB VRAM wystarczy do lokalnego asystenta AI?
Można uruchomić mniejsze modele językowe, ale odpowiedzi będą prostsze, a dłuższe rozmowy szybciej zapełnią pamięć. Do nauki, prostych pytań i krótkich tekstów to rozsądny początek. Przy bardziej wymagających zadaniach pamięć zwykle okazuje się ograniczeniem.
Jak policzyć, czy model zmieści się w karcie graficznej?
Pomnóż liczbę miliardów parametrów przez liczbę bitów i podziel przez 8. Otrzymasz rozmiar samych wag w gigabajtach. Dolicz około 20 procent zapasu na kontekst i program. Wynik to przybliżenie, a nie gwarancja, bo zależy od programu i ustawień.
Czy dwie karty po 12 GB to to samo co jedna karta 24 GB?
Nie zawsze. Pamięć może się sumować tylko wtedy, gdy program obsługuje pracę na kilku kartach, a komunikacja między nimi bywa wolniejsza. Dla początkującego jedna większa karta jest zwykle prostsza w obsłudze i konfiguracji.
Co się dzieje, gdy model jest większy niż pamięć karty?
Część modelu może zostać przeniesiona do zwykłej pamięci RAM. Program nadal działa, ale odpowiedzi pojawiają się wolniej. Do testów to dobre rozwiązanie, a w codziennej pracy często bywa niewygodne.
Czy karta AMD albo Intel nadaje się do lokalnego AI?
Może, ale wszystko zależy od programu i systemu. Najszersze wsparcie gotowych narzędzi jest dla kart NVIDIA. Przed zakupem sprawdź listę wspieranego sprzętu w dokumentacji programu, którego chcesz używać.