W skrócie
- Dla AI najważniejsza jest ilość pamięci VRAM, bo model, który się w niej nie mieści, działa wolno albo wcale.
- Karty GeForce z serii 10, 20 i 30 obsługują CUDA, więc większość narzędzi do lokalnego AI na nich działa, choć nowsze wersje programów coraz częściej wymagają nowszej architektury.
- Im starsza architektura, tym mniej nowoczesnych przyspieszeń sprzętowych, takich jak rdzenie tensor, i tym większe ryzyko, że wsparcie zostanie wycofane.
- Minimalny rozsądny start to zwykle 8 GB VRAM; karta z mniejszą pamięcią nadaje się głównie do nauki i bardzo małych modeli.
- Zanim kupisz cokolwiek nowego, sprawdź nazwę, pamięć i architekturę swojej karty, a potem policz wymagania modelu, który chcesz uruchomić.
Po co AI w ogóle karta graficzna
Model AI uruchomiony na własnym komputerze wykonuje ogromną liczbę prostych obliczeń jednocześnie. Procesor, czyli CPU, radzi sobie z nimi jak jeden doświadczony kucharz, który robi wszystko po kolei. Karta graficzna, czyli GPU, przypomina kuchnię z tysiącami pomocników, z których każdy wykonuje swoje małe działanie w tym samym czasie. Dlatego to właśnie karta przejmuje większość pracy podczas generowania odpowiedzi.
Drugim elementem jest pamięć. Model musi być załadowany do pamięci karty, bo tam dane są pod ręką. Wyobraź sobie blat roboczy: jeśli przepis mieści się na nim w całości, gotujesz szybko. Jeśli nie, co chwilę biegniesz do lodówki, czyli do zwykłej pamięci komputera, i wszystko zwalnia. Ten blat to VRAM, o którym szerzej piszemy w osobnym poradniku.
Stara karta działa na tej samej zasadzie co nowa. Pytanie brzmi więc nie tyle „czy w ogóle działa”, ile „ile zmieści się na jej blacie i jak szybko pracuje”.
Trzy cechy, które decydują o przydatności
Oceniając starą kartę, nie patrz na markę obudowy ani na liczbę diod świecących. Liczą się trzy rzeczy: ilość VRAM, obsługa CUDA i wersja architektury. Każda odpowiada na inne pytanie.
VRAM mówi, jak duży model zmieścisz. To cecha najważniejsza, bo nawet szybka karta z małą pamięcią nie uruchomi dużego modelu bez kompromisów, na przykład bez mocnego zmniejszenia jego jakości.
CUDA to sposób, w jaki programy komunikują się z kartami NVIDIA. Większość narzędzi do lokalnego AI jest pisana właśnie pod CUDA, więc karta NVIDIA z tą obsługą to najprostsza droga startu. Architektura to z kolei nazwa generacji układu, na przykład Pascal, Turing czy Ampere. Mówi, jakie przyspieszenia zawiera.
- VRAM: ile gigabajtów pamięci ma karta. Sprawdzisz to w systemie albo w specyfikacji producenta.
- CUDA: obsługa tej technologii przez kartę NVIDIA. Dokładne możliwości opisuje wersja zdolności, tzw. compute capability, podana w tabelach NVIDIA.
- Architektura: generacja układu, zwykle podana w opisie karty lub na stronie producenta.
Seria 10: Pascal, czyli sprzęt do nauki
Karty z serii 10 należą do architektury Pascal. Nadal bywają używane, bo działają w wielu programach do lokalnego AI, zwłaszcza tych opartych na CUDA. Ich największą słabością jest brak rdzeni tensor, czyli specjalnych jednostek przyspieszających mnożenie macierzy, a to podstawowa operacja w modelach językowych i graficznych. Karta Pascal wykonuje tę pracę na zwykłych rdzeniach, więc generowanie tekstu zwykle idzie wolniej niż na nowszych układach.
Pamięć w tej serii jest bardzo zróżnicowana, od kilku gigabajtów w słabszych modelach po 11 GB w najmocniejszych. Nazwa nie wystarczy, bo dwie karty o podobnym numerze mogą mieć różne ilości VRAM.
Ograniczeniem jest także wsparcie. Nowe wersje bibliotek i programów często wycofują obsługę najstarszych architektur. Karta, która dziś działa, za jakiś czas może wymagać starszej wersji oprogramowania. To nie koniec świata, ale trzeba o tym wiedzieć, zanim zainwestujesz czas w konfigurację.
Seria 20: Turing, dobry środek z pułapkami
Seria 20 należy do architektury Turing. To pierwsza generacja konsumenckich kart GeForce z rdzeniami tensor, więc w porównaniu z Pascalem to wyraźny krok naprzód w pracy z modelami. Rdzenie tensor przyspieszają obliczenia także w formatach o niższej precyzji, które są częścią sposobów zmniejszania modeli.
Uważaj na nazwy. Niektóre karty z numeracją 16, na przykład z serii GTX 16, mają architekturę Turing, ale nie mają rdzeni tensor. Dlatego nie każda karta z tej epoki ma wszystkie nowości. Sprawdź dokładny model, zanim uznasz, że ma rdzenie tensor.
Pamięć w serii 20 zwykle mieści się w przedziale od 6 do 11 GB, zależnie od modelu. Sześć gigabajtów w praktyce to mało, bo po załadowaniu nawet średniego modelu zostaje niewiele miejsca na kontekst, czyli tekst rozmowy, który model bierze pod uwagę.
Seria 30: Ampere, często rozsądny punkt wyjścia
Architektura Ampere wprowadziła trzecią generację rdzeni tensor oraz obsługę formatów liczb, które przyspieszają pracę modeli. Dla zwykłego użytkownika ważne jest też to, że karty z tej serii są nadal szeroko wspierane przez narzędzia do AI, a wymagania sprzętowe programów zwykle je uwzględniają.
Pamięć zależy od konkretnego modelu, od 8 GB w części kart po 24 GB w najmocniejszych. Karta z 12 GB bywa dobrym kompromisem dla mniejszych i średnich modeli, ale o tym, czy wystarczy, decyduje przeliczenie opisane w dalszej części poradnika.
Pod obciążeniem AI każda karta z tej półki pobiera sporo prądu i wytwarza sporo ciepła, więc przed uruchomieniem dużych modeli sprawdź zasilacz i chłodzenie obudowy.
Prosta reguła oceny: trzy pytania i jedno przeliczenie
Zamiast zgadywać, zastosuj prostą regułę. Najpierw odpowiedz na trzy pytania: czy karta jest NVIDIA z obsługą CUDA, czy ma co najmniej 8 GB VRAM i czy jej architektura to Turing albo Ampere. Jeśli na wszystkie trzy odpowiedź brzmi tak, karta nadaje się do większości zadań z lokalnym AI na poziomie podstaw. Jeśli na którekolwiek brzmi nie, zakres będzie węższy, ale nauka nadal jest możliwa.
Drugi krok to przeliczenie modelu. Dla modelu skompresowanego do 4 bitów, czyli sposobu zmniejszania modelu kosztem niewielkiej utraty jakości, orientacyjnie potrzebujesz około 0,5 GB pamięci na każdy miliard parametrów. Do tego dolicz zapas około 20–30 procent na kontekst i działanie programu. To przybliżenie, a nie gwarancja, bo wynik zależy od programu, ustawień i długości rozmowy.
Przykład liczbowy, który tylko ilustruje zasadę: model 7-miliardowy to około 3,5 GB samych wag, a z zapasem blisko 4,5 GB. Model 13-miliardowy to około 6,5 GB wag, a z zapasem około 8–8,5 GB. Jeśli Twoja karta ma 6 GB, większość takich modeli odpadnie, a 8 GB daje już niewielki margines. Rozmiar konkretnego pliku modelu znajdziesz zwykle na stronie, z której go pobierasz.
- Czy nazwa karty jest na liście kart NVIDIA z obsługą CUDA?
- Ile gigabajtów VRAM pokazuje system, a nie tylko nazwa z pudełka?
- Czy model po przeliczeniu mieści się w pamięci z zapasem 20–30 procent?
- Czy program, którego chcesz użyć, deklaruje wsparcie dla Twojej generacji karty?
Ograniczenia, o których łatwo zapomnieć
Poza pamięcią i rdzeniami stara karta ma kilka słabości, które wychodzą dopiero w praktyce. Pierwsza to stan egzemplarza. Po latach pracy pasta termoprzewodząca między chipem a radiatorem może wysychać, a wentylatory zbierają kurz. Efektem jest przegrzewanie i spadek wydajności. Czasem wystarczy czyszczenie, a wymiana pasty wymaga ostrożności, więc jeśli nie masz doświadczenia, lepiej zlecić ją serwisowi.
Druga słabość to prąd i ciepło. Starsze układy są zwykle mniej wydajne na wat, więc ten sam wynik kosztuje więcej energii. Przy krótkich testach to niewielka kwota, ale przy długich sesjach różnica w rachunku może być zauważalna. Konkretne wartości sprawdź w specyfikacji producenta.
Trzecia słabość to wsparcie oprogramowania. Sterowniki dla starszych kart mogą przestać dostawać nowe funkcje, a niektóre narzędzia wymagają nowszej architektury. Zanim zainstalujesz program, przeczytaj jego wymagania i informacje o wersji.
- Brak rdzeni tensor oznacza wolniejsze generowanie tekstu i obrazów.
- Wiek i stan egzemplarza: kurz, pasta termoprzewodząca, wentylatory.
- Mało VRAM oznacza, że większych modeli nie uruchomisz bez kompromisów.
- Historia używania: karta mogła pracować intensywnie, na przykład przy kopaniu kryptowalut, o czym pisze osobny poradnik.
Kiedy stara karta wystarczy, a kiedy warto ją wymienić
Stara karta to dobry wybór, gdy chcesz się czegoś nauczyć, testować małe modele i eksperymentować z narzędziami. Jeśli AI ma być dla Ciebie raczej dodatkiem niż codziennym narzędziem pracy, nie musisz od razu inwestować w drogi sprzęt. Nauka na tym, co masz, daje sporo, a koszt jest zerowy poza prądem.
Zmiana ma sens, gdy regularnie potrzebujesz większych modeli, pracujesz z długimi dokumentami albo czas oczekiwania na odpowiedź zaczyna Cię irytować. W takiej sytuacji ważniejsza od wieku karty jest pamięć, więc szukaj egzemplarza z większym VRAM, nawet jeśli nie jest najnowszy.
Jeśli szukasz nowej lub używanej karty, porównuj oferty na allee.pl, czytaj opisy i sprawdzaj stan egzemplarza. Przy używanym sprzęcie zwracaj uwagę na oznaczenia sprzedawców, a przed zakupem przeczytaj osobny poradnik o tym, na co uważać.
Jak sprawdzić swoją kartę w kilka minut
W systemie Windows otwórz Menedżera zadań, przejdź do zakładki Wydajność i wybierz GPU. Zobaczysz nazwę karty oraz pamięć dedykowaną, czyli VRAM. Możesz też wpisać w oknie Uruchom polecenie dxdiag i w zakładce Ekran sprawdzić ilość pamięci.
W Linuksie, jeśli masz zainstalowane sterowniki NVIDIA, polecenie nvidia-smi pokaże nazwę karty, ilość pamięci i wersję sterownika. Jeśli polecenie nie działa, najczęściej sterowniki nie są zainstalowane albo karta nie pochodzi od NVIDIA.
Nazwę i generację potwierdź na stronie producenta. Zapisz wynik, bo przyda się przy porównaniu z wymaganiami modelu i programu.
Najczęstsze pytania
Czy karta GTX 1060 nadaje się do AI?
Może posłużyć do nauki i małych modeli, zwłaszcza jeśli ma 6 GB VRAM, ale większych modeli nie uruchomisz bez dużych kompromisów. Różne warianty tej karty mają różną ilość pamięci, więc sprawdź ją w systemie. Zanim zaczniesz, zobacz wymagania programu.
Czy stara karta NVIDIA wystarczy do uruchomienia AI na własnym komputerze?
Często wystarczy na start, pod warunkiem że obsługuje CUDA i ma co najmniej 6 GB VRAM, a najlepiej 8 GB lub więcej. Najważniejsze jest dopasowanie wielkości modelu do pamięci. Zacznij od małego modelu i sprawdź jego działanie, zanim sięgniesz po większy.
Jak sprawdzić, czy karta obsługuje CUDA?
Najpierw ustal dokładną nazwę karty, a potem sprawdź na stronie NVIDIA, czy ten model jest na liście kart z obsługą CUDA i jaka jest jego wersja zdolności. Karty GeForce z serii 10, 20 i 30 obsługują CUDA, ale zawsze potwierdź to dla swojego konkretnego modelu.
Czy stara karta AMD nadaje się do lokalnego AI?
Może, ale wsparcie jest węższe niż w przypadku NVIDIA. Wiele narzędzi powstaje z myślą o CUDA, więc przed zakupem sprawdź w dokumentacji producenta i programu, czy Twoja konkretna karta jest objęta obsługą. Więcej o kartach AMD znajdziesz w osobnym poradniku.
Czy dwie stare karty działają lepiej niż jedna nowsza?
Nie zawsze. Dwie karty mogą dać więcej pamięci łącznie, ale program musi umieć podzielić model między nimi, a wymiana danych między kartami bywa wolniejsza niż praca na jednej. Najpierw sprawdź, czy wybrany program w ogóle to obsługuje.