W skrócie
- Dwie karty sumują pamięć VRAM tylko wtedy, gdy program potrafi rozdzielić model między nie, a sama obecność drugiej karty zwykle nie przyspiesza pracy.
- Rozdzielony model wymienia dane między kartami przez magistralę PCIe, która jest wolniejsza niż pamięć wewnątrz karty, więc generowanie odpowiedzi może zwolnić.
- Do dwóch kart potrzebujesz wolnych gniazd PCIe o odpowiednim trybie pracy, miejsca w obudowie, zasilacza z zapasem mocy i dobrego przepływu powietrza.
- Jedna mocniejsza karta jest zwykle prostsza w konfiguracji, cichsza i mniej obciąża prąd oraz obudowę, dlatego dla większości domowych zastosowań jest lepszym punktem wyjścia.
- Przed zakupem sprawdź w dokumentacji programu i producenta, czy Twoja konfiguracja jest obsługiwana, a aktualne parametry i ceny porównaj w ofertach sklepów, także na allee.pl.
Co naprawdę daje druga karta graficzna
Model AI uruchamiany na własnym komputerze musi w całości, albo prawie w całości, zmieścić się w pamięci karty graficznej, czyli VRAM. Najprościej myśleć o VRAM jak o blacie stołu: większy blat pomieści większy projekt, ale nie sprawi, że praca skończy się szybciej. Druga karta dokłada kolejny blat, a nie drugiego pracownika.
Warto rozdzielić dwie rzeczy: pojemność i szybkość. Dwie karty mogą razem pomieścić większy model, ale pojedynczy model rzadko działa dwa razy szybciej, bo gdy jest rozdzielony, jedna karta czeka na wyniki drugiej, a dane muszą krążyć między nimi.
Druga karta ma największy sens wtedy, gdy model nie mieści się w żadnej pojedynczej karcie, na jaką Cię stać, a program potrafi go podzielić. Drugi wariant to praca równoległa: jeden model działa na jednej karcie, a inne zadanie, na przykład generowanie obrazów, na drugiej. Nie wymaga to rozdzielania jednego modelu, więc bywa prostsze.
Czy Twój program rozdzieli model na dwie karty?
Nie każdy program działa tak samo. Niektóre narzędzia do lokalnego AI potrafią podzielić model na kilka kart: część warstw trafia na jedną kartę, część na drugą, a program przekazuje wyniki między nimi. Inne ładują cały model do jednej karty i drugiej nie wykorzystują, chyba że uruchomisz na niej osobne zadanie.
Ta różnica jest najważniejsza przed kupnem. Zanim wydasz pieniądze na drugą kartę, przeszukaj dokumentację swojego programu pod hasłami typu „wiele kart”, „multi GPU” albo „podział modelu”. Dokumentacja podpowie też, czy można wybrać karty ręcznie i czy program wymaga konkretnego systemu lub sterowników.
Jeśli program nie wspiera podziału, druga karta nie zwiększy dostępnej pamięci dla jednego modelu. Może wtedy obsługiwać inną aplikację, a model tekstowy dalej korzysta tylko z jednej karty.
- Przeczytaj dokumentację programu w części o wielu kartach graficznych.
- Sprawdź w ustawieniach, czy program widzi obie karty.
- Upewnij się, że zadanie, które chcesz wykonywać, naprawdę korzysta z drugiej karty.
- Jeśli nie masz pewności, zapytaj na oficjalnym forum lub na stronie projektu.
Ile pamięci dają dwie karty i ile tracisz na przesyłaniu
Przybliżony wzór na pamięć modelu jest prosty: liczba parametrów razy liczba bajtów na parametr, a do tego zapas na kontekst i system. Przykład, który traktuj jako przybliżenie: model z 14 miliardami parametrów zapisany w 16 bitach, czyli 2 bajtach na parametr, wymaga około 28 GB samego modelu. Po skompresowaniu do 4 bitów, czyli około pół bajta na parametr, to około 7 GB, a z zapasem na kontekst łatwo przekroczyć 8 GB. Wynik zależy od programu, formatu i ustawień, więc to punkt wyjścia, a nie gwarancja.
Załóżmy, że masz dwie karty z 16 GB VRAM każda i program poprawnie sumuje ich pamięć. Teoretycznie to 32 GB, ale część pamięci zajmują system, sterowniki i obliczenia pomocnicze, więc realnie dostępne będzie mniej. Zanim kupisz, policz z zapasem, a nie z sumy z etykiety.
Za pojemność płacisz szybkością. Gdy model jest rozdzielony, dane między kartami przechodzą przez PCIe, czyli magistralę na płycie głównej. Jest ona wyraźnie wolniejsza niż pamięć wewnątrz karty, więc odpowiedzi mogą pojawiać się wolniej. Skala różnicy zależy od modelu i konfiguracji, dlatego nie podaję liczb. Zasada jest stała: model w całości w jednej wystarczająco dużej karcie zwykle działa szybciej niż ten sam model rozdzielony na dwie.
Płyta główna, gniazda PCIe i miejsce w obudowie
Karta graficzna podłącza się do gniazda PCIe x16. Druga karta wymaga drugiego gniazda, a nie każde gniazdo na płycie pracuje z pełną liczbą linii. Producenci podają często, że gniazdo działa w trybie x16, x8 albo x4. Liczba oznacza, ile linii danych ma dana karta, a więcej linii to szybszy przepływ danych. Informację znajdziesz w instrukcji płyty głównej, w części o gniazdach PCIe i ich współdzieleniu.
Drugi parametr to generacja PCIe. Nowsze generacje przesyłają więcej danych przy tej samej liczbie linii. Karta starszej generacji w nowszym gnieździe zwykle zadziała, ale będzie ograniczona do możliwości starszego standardu. Sprawdź generację płyty i karty.
Miejsce to osobny temat. Karty graficzne bywają długie i grube, a wiele modeli zajmuje dwa sloty z tyłu obudowy. Dwie takie karty ustawione tuż obok siebie mogą nie zmieścić się albo zostawią zbyt mało przestrzeni na przepływ powietrza. Zmierz długość i grubość karty oraz odstęp między gniazdami, zanim zamówisz.
- Liczba wolnych gniazd PCIe x16 i tryb ich pracy: x16, x8 lub x4.
- Długość i grubość karty w porównaniu z wnętrzem obudowy.
- Podpórka dla ciężkiej karty, jeśli wisi nisko nad płytą.
- Liczba wolnych złączy zasilania w zasilaczu.
Zasilacz: moc, zapas i wtyczki
Każda karta pobiera prąd z zasilacza, a jej zapotrzebowanie sumuje się z resztą komputera: procesorem, płytą, dyskami i wentylatorami. Producent karty podaje zalecaną moc zasilacza, co jest bezpieczniejszym punktem wyjścia niż ogólne tabelki z forów. Po dodaniu wszystkich elementów zostaw zapas, żeby zasilacz nie pracował na granicy swoich możliwości.
Druga sprawa to wtyczki. Każda karta ma swoje złącza zasilania, a ich liczba zależy od modelu. Używaj kabli dołączonych do zasilacza albo zalecanych przez jego producenta. Nie łącz kilku wtyczek jednym przewodem rozdzielaczem bez sprawdzenia instrukcji, bo przeciążony kabel może się przegrzać.
Zasilacza nie warto traktować jako miejsca na oszczędności. Zbyt słaby zasilacz może powodować wyłączanie się komputera pod obciążeniem, a w gorszym przypadku uszkodzić podzespoły. Jeśli masz wątpliwości, skonsultuj dobór z instrukcjami producentów kart i zasilacza.
- Zalecana moc zasilacza podana przez producenta każdej karty.
- Zapas mocy ponad sumę poboru wszystkich podzespołów.
- Liczba i typ złączy PCIe w zasilaczu.
- Oddzielne kable do każdej karty, zgodnie z instrukcją zasilacza.
Chłodzenie i przepływ powietrza
Dwie karty w jednej obudowie wydzielają ciepło w małej przestrzeni, więc temperatura rośnie szybciej niż przy jednej. Problem pojawia się, gdy ciepło z jednej karty trafia prosto w wlot drugiej. Karty z wentylatorem wyrzucającym powietrze przez tylny panel, tzw. blower, ułatwiają wyprowadzenie ciepła z obudowy, gdy stoją obok siebie. Karty typu open-air wyrzucają ciepło do wnętrza obudowy i zwykle potrzebują więcej wolnego miejsca.
Obudowa powinna mieć wyraźny przepływ powietrza: wloty z przodu i z dołu, wylot z tyłu i na górze. Sprawdź w specyfikacji obudowy, ile wentylatorów się mieści i jakiej są średnicy. Zbyt ciasno ustawione karty to jedna z najczęstszych przyczyn wysokiej temperatury i hałasu.
Kontroluj temperatury podczas pracy. Narzędzia monitorujące pokażą temperaturę i obciążenie każdej karty osobno. Jeśli jedna karta stale osiąga bardzo wysokie wartości, a wentylatory pracują na maksimum, to sygnał, żeby poprawić przepływ powietrza albo ograniczyć moc karty.
- Zostaw choćby jeden wolny slot między kartami, jeśli płyta na to pozwala.
- Wentylatory wlotowe z przodu i wylotowe z tyłu obudowy.
- Monitoring temperatur każdej karty podczas długiej sesji.
- Nie zasłaniaj otworów wentylacyjnych kablami ani filtrami.
Zużycie prądu i koszt pracy
Karta pod pełnym obciążeniem pobiera wyraźnie więcej energii niż w spoczynku, a dwie pracujące karty sumują swój pobór. Przykład liczbowy, z liczbami przykładowymi: załóżmy, że każda karta pobiera 300 W przy pełnym obciążeniu. Razem to 600 W, czyli 0,6 kWh w ciągu godziny. Jeśli komputer pracuje pod pełnym obciążeniem przez dwie godziny dziennie, to 1,2 kWh dziennie, a w ciągu tygodnia 8,4 kWh. Wynik pomnóż przez stawkę za kilowatogodzinę z Twojej umowy. Dane o poborze podaje producent Twojego modelu.
Przy ocenie kosztu pamiętaj, że AI rzadko działa cały dzień pod pełnym obciążeniem. Zwykle odpowiedź pojawia się w kilka sekund lub minut, a potem karta wraca do spoczynku. Rzeczywisty rachunek zależy więc od tego, jak długo i jak intensywnie pracujesz.
Dwie karty to także więcej ciepła i głośniejsze wentylatory. Ograniczenie mocy karty, opisane w osobnym poradniku, potrafi zmniejszyć pobór prądu. Efekt jednak zmierz na swoim modelu, zamiast zakładać go z góry.
Kiedy lepsza jest jedna mocniejsza karta
Uczciwie mówiąc, w większości domowych zastosowań jedna karta z większą pamięcią jest lepszym wyborem niż dwie słabsze. Model działa w całości na jednej karcie, nie trzeba konfigurować podziału, nie ma wymiany danych między kartami, a komputer pobiera mniej prądu i grzeje się mniej. Mniej elementów to także mniej rzeczy, które mogą się zepsuć albo nie współpracować ze sterownikami.
Druga karta ma sens, gdy już jedną masz i chcesz ją uzupełnić, albo gdy model, którego potrzebujesz, nie mieści się w żadnej pojedynczej karcie w Twoim budżecie, a program potrafi go podzielić. Ma też sens przy pracy równoległej, gdy jedna karta obsługuje czat, a druga generuje obrazy.
Zanim kupisz drugą kartę, odpowiedz sobie na pytania: jakiego modelu używasz, czy program go rozdziela, czy płyta ma wolne gniazdo z odpowiednią liczbą linii, czy zasilacz i obudowa dadzą radę. Jeśli choć na jedno odpowiadasz „nie”, jedna mocniejsza karta jest bezpieczniejszym wyborem.
- Jedna mocniejsza karta: prostsza konfiguracja, mniejszy pobór prądu, cichsza praca.
- Dwie karty: większa łączna pamięć, o ile program ją wykorzysta.
- Płyta z jednym dobrym gniazdem PCIe zwykle nie uzasadnia drugiej karty.
- Druga karta ma sens dopiero wtedy, gdy wiesz, jakiego modelu potrzebujesz.
NVIDIA, AMD i Intel przy dwóch kartach
Marka karty wpływa na to, jak łatwo uruchomisz podział modelu. Karty NVIDIA są wspierane przez wiele popularnych programów do lokalnego AI, dlatego większość instrukcji i narzędzi zakłada właśnie tę markę. Karty AMD działają z lokalnym AI, ale zakres wsparcia zależy od konkretnego modelu i systemu operacyjnego. Karty Intel mają swoje możliwości, a wsparcie programów bywa węższe. Aktualne listy zgodności znajdziesz na stronach producentów i w dokumentacji programu, bo zmieniają się wraz ze sterownikami.
Mieszanie marek w jednym komputerze, na przykład NVIDIA z AMD, zwykle nie jest dobrym pomysłem przy jednym modelu. Programy rzadko łączą różne architektury w jeden podział, a sterowniki mogą ze sobą kolidować. Jeśli planujesz dwie karty, lepiej kupić dwie identyczne.
Przy zakupie używanej karty ryzyko rośnie razy dwa, bo kupujesz dwa egzemplarze, które mogły pracować w różnych warunkach. Zanim cokolwiek zapłacisz, sprawdź stan, historię użytkowania i gwarancję. Oferty można porównać na allee.pl, zwracając uwagę na oznaczenia sprzedawców i dokładny opis stanu. Szczegóły zakupu używanej karty opisujemy w osobnych poradnikach Centrum AI.
Najczęstsze pytania
Czy dwie karty graficzne przyspieszą AI?
Zwykle nie w takim stopniu, jakiego się spodziewasz. Dwie karty zwiększają łączną pamięć, ale tylko wtedy, gdy program potrafi rozdzielić model. Przy podziale dane przechodzą między kartami, więc odpowiedzi mogą pojawiać się wolniej niż na jednej, wystarczająco dużej karcie.
Czy mogę połączyć dwie różne karty graficzne do AI?
Technicznie czasem tak, ale przy jednym modelu zwykle nie warto. Programy rzadko łączą różne architektury, a sterowniki różnych marek mogą kolidować. Jeśli planujesz dwie karty, kup dwie identyczne i sprawdź wsparcie w dokumentacji programu.
Jaki zasilacz wystarczy na dwie karty graficzne do AI?
Nie ma uniwersalnej odpowiedzi. Sprawdź zalecaną moc zasilacza u producentów obu kart, dolicz resztę komputera i zostaw zapas. Nie opieraj się na ogólnych tabelkach z forów, bo zapotrzebowanie zależy od konkretnych modeli.
Czy na płycie z jednym gniazdem x16 da się dołożyć drugą kartę?
Fizycznie często tak, jeśli płyta ma drugie gniazdo PCIe, ale to drugie może pracować z mniejszą liczbą linii, co obniży przepływ danych. Tryb pracy gniazd opisuje instrukcja płyty głównej. Gdy miejsca lub gniazd brakuje, rozważ jedną mocniejszą kartę.
Ile prądu zużywają dwie karty graficzne przy pracy AI?
Zależy od modelu i czasu pracy pod obciążeniem. Zsumuj pobór podany przez producenta każdej karty, pomnóż przez liczbę godzin pracy i przez stawkę z umowy. Pamiętaj, że przy krótkich odpowiedziach karta szybko wraca do spoczynku.
Czy lokalny model AI jest bezpieczny dla moich danych?
Lokalny model działa na Twoim komputerze, więc dane nie muszą trafiać do sieci, ale nadal nie wpisuj do niego haseł ani danych klientów bez zastanowienia. Odpowiedzi AI zawsze sprawdzaj, bo mogą zawierać błędy.