W skrócie
- Przy uruchamianiu modelu na karcie graficznej to karta wykonuje większość ciężkich obliczeń, a procesor pełni rolę drugoplanową.
- Gdy model działa bez karty, procesor i pamięć RAM przejmują pracę i wtedy wybór procesora ma realne znaczenie.
- Więcej rdzeni nie oznacza proporcjonalnie szybszej odpowiedzi, a po pewnym progu ogranicza ją częściej pamięć niż liczba rdzeni.
- Procesor musi nadążać za resztą zestawu: ilością RAM, szybkością dysku, zasilaniem i chłodzeniem.
- Konkretne modele i parametry sprawdzaj u producenta i w aktualnych ofertach, bo ten rynek zmienia się bardzo szybko.
Dlaczego przy AI procesor ma rolę drugoplanową
Lokalny model językowy, czyli program działający na Twoim komputerze i odpowiadający na pytania, składa się z ogromnej liczby liczb zwanych wagami. Żeby wygenerować jedno słowo odpowiedzi, program musi wielokrotnie je przemnożyć i zsumować. Karta graficzna wykonuje takie obliczenia wyjątkowo sprawnie, bo ma tysiące małych jednostek, które liczą równolegle.
Procesor, po angielsku CPU, to mózg komputera ogólnego przeznaczenia. Ma mniej rdzeni, ale każdy jest wszechstronny: obsługuje system, przeglądarkę, pliki i wszystko, co robisz jednocześnie. Dobre porównanie to kuchnia. Karta graficzna przypomina linię, na której dziesiątki osób pakują identyczne pierogi naraz, a procesor to szef kuchni, który organizuje pracę całego lokalu i pilnuje kolejności.
Przy typowym uruchomieniu modelu na karcie procesor rzadko jest wąskim gardłem. Ma przygotować dane, przekazać polecenia i obsłużyć resztę systemu. Nie oznacza to, że można go zignorować, ale wybór karty i jej pamięci wpływa na szybkość odpowiedzi znacznie mocniej niż różnice między dwoma średnimi procesorami.
Co procesor robi, gdy liczy karta graficzna
Nawet gdy model pracuje na karcie, procesor wykonuje kilka ważnych zadań. Wczytuje pliki modelu z dysku i przekazuje je do pamięci karty. Zamienia Twoje pytanie na ciąg tokenów, czyli krótkich fragmentów tekstu zapisanych jako liczby, a na końcu zamienia wynik z powrotem na zdania. Te etapy trwają krótko w porównaniu z samym generowaniem odpowiedzi, ale przy ładowaniu dużego modelu albo długiego dokumentu wrzuconego do rozmowy ich wolny przebieg jest bardzo widoczny.
Procesor odpowiada też za wszystko, co dzieje się obok. Jeśli masz otwarte kilkanaście kart przeglądarki, program do obróbki wideo i aktualizację systemu w tle, a model ma jednocześnie odpowiadać, procesor może stać się ograniczeniem, mimo mocnej karty.
Niektóre narzędzia AI wykonują na procesorze wstępne przygotowanie danych, zanim trafią na kartę. Dobrze wiedzieć o tym przed zakupem, bo nawet przy dobrej karcie słaby CPU potrafi wydłużyć cały proces.
- Wczytanie modelu z dysku do pamięci karty
- Zamiana pytania na tokeny i odpowiedzi z powrotem na tekst
- Obsługa systemu, przeglądarki i innych programów w tle
Kiedy procesor przejmuje pracę: model bez karty
Są sytuacje, w których procesor staje się najważniejszym elementem. Dzieje się tak najczęściej wtedy, gdy model działa bez karty graficznej albo karta ma za mało pamięci, by pomieścić cały model. Program korzysta wtedy z procesora i pamięci RAM, a każde słowo odpowiedzi wymaga pracy CPU.
Skala ma znaczenie. Załóżmy, że model ma 7 miliardów parametrów i jest zapisany w czterech bitach na parametr. Samych wag wychodzi wtedy około 3,5 GB, a przy zapasie na działanie programu realnie kilka gigabajtów. To przybliżenie, nie dokładna wartość, bo zależy od formatu zapisu i programu. Taki model zmieści się w pamięci RAM zwykłego komputera, ale odpowiedzi będą wolniejsze niż na karcie z odpowiednią pamięcią.
Dla kogoś, kto zadaje kilka pytań dziennie i może poczekać, taki wariant bywa wystarczający. Dla kogoś, kto pisze wiele tekstów w ciągu godziny, już nie. Najwięcej sensu ma praca na CPU przy krótkich zadaniach, takich jak streszczenie notatki, poprawa maila czy prosta klasyfikacja wiadomości.
- Model działa bez karty albo karta nie mieści go w pamięci
- Pytania są rzadkie, a czas oczekiwania nie przeszkadza
- Zadania są krótkie: streszczenia, poprawki, proste klasyfikacje
- Komputer ma sporo wolnej pamięci RAM, bo to ona przechowuje model
Czy liczba rdzeni ma znaczenie i gdzie kończy się zysk
Tak, liczba rdzeni ma znaczenie, ale nie w prostym, liniowym sensie. Dwa razy więcej rdzeni nie daje dwa razy szybszych odpowiedzi. Część obliczeń da się podzielić między rdzenie, a część musi odbyć się po kolei, bo każdy kolejny krok zależy od poprzedniego. Dochodzi do tego czas potrzebny na wymianę danych między rdzeniami a pamięcią.
Porównaj to z pralnią. Jeśli masz jedną pralkę i stos prania, druga pralka mocno przyspieszy robotę. Ale gdy odpływ jest wąski, dokupienie kolejnych pralek niewiele zmieni, bo woda i tak nie nadąża. Procesor działa podobnie: po pewnym progu ogranicza go szybkość pamięci, czyli to, jak szybko dane docierają do rdzeni.
W praktyce przy pracy na CPU zysk z dokładania rdzeni szybko maleje, a pamięć RAM, jej ilość i szybkość, często daje więcej. Ważne jest też ustawienie liczby wątków w programie. Zbyt duża liczba może spowolnić pracę, bo rdzenie zaczynają czekać na siebie. Sprawdź w dokumentacji narzędzia, czy taka opcja istnieje i jaką wartość zaleca się dla Twojego procesora.
- Zanim kupisz nowy procesor, sprawdź w menedżerze zadań, czy rdzenie są rzeczywiście zajęte podczas odpowiedzi
- Porównuj efekty po jednej zmianie naraz, na przykład liczby wątków
- Nie zakładaj, że najwięcej rdzeni oznacza najszybszą odpowiedź
Równowaga podzespołów: procesor nie działa sam
Najczęstszy błąd początkujących to kupowanie mocnego procesora przy skąpej pamięci. Komputer wygląda na wydajny w specyfikacji, a w praktyce czeka na dane. Równowaga oznacza, że każdy element pasuje do reszty i żaden nie jest zaniedbany.
W zestawie do lokalnego AI liczy się kilka rzeczy: pamięć karty graficznej, a gdy model działa na CPU, pamięć operacyjna; ilość RAM dla systemu i programów; szybki dysk SSD, na którym leżą modele; oraz zasilanie i chłodzenie, które pozwalają utrzymać wydajność długo, nie tylko przez pierwsze minuty. Procesor ma się w to wpisywać. Nie musi być najdroższy, ale nie może być najsłabszym ogniwem.
Przy wyborze między podzespołami zwykle lepiej postawić na więcej pamięci niż na minimalnie szybszy procesor, bo bez odpowiedniej pamięci model często w ogóle się nie uruchomi albo działa bardzo wolno. Komputery Mac z pamięcią zunifikowaną mają inny podział ról i opisujemy je w osobnym poradniku.
- Mocny procesor przy małej ilości pamięci RAM
- Dobra karta graficzna w obudowie, która się przegrzewa
- Szybki dysk bez miejsca na modele, które zajmują wiele gigabajtów
- Zasilacz na granicy wydajności, który nie wytrzymuje długiego obciążenia
Rdzenie wydajnościowe, energooszczędne i NPU
Nowoczesne procesory w laptopach i części komputerów stacjonarnych mają rdzenie różnego typu. Rdzenie wydajnościowe są szybkie i zużywają więcej prądu, a energooszczędne są wolniejsze, ale oszczędniejsze. System sam rozdziela zadania. Dla modelu AI ma to znaczenie, bo nie każdy program potrafi z obu typów korzystać równie dobrze. Sama liczba rdzeni w specyfikacji to więc tylko część obrazu.
Osobną kwestią jest NPU, czyli jednostka neuronowa, której poświęcamy osobny poradnik w tym dziale. W skrócie to blok w niektórych procesorach, zaprojektowany do obliczeń typowych dla sieci neuronowych i oszczędny energetycznie. NPU nie zastąpi karty graficznej przy dużych modelach. Może jednak przyspieszać mniejsze, konkretne funkcje, takie jak efekty w rozmowach wideo, zależnie od tego, które programy go wspierają.
Przy zakupie laptopa z etykietą AI PC nie zakładaj automatycznie, że NPU zrobi za Ciebie wszystko. Sprawdź, które programy z niego korzystają i czy Twoje zastosowanie w ogóle na tym skorzysta. Co konkretnie oznacza ta etykieta, opisujemy w osobnym poradniku.
Jak dobrać procesor do swojego scenariusza
Zanim zaczniesz porównywać oferty, określ, do czego potrzebujesz AI. Procesor dobrany według haseł z reklamy często nie pasuje do tego, co naprawdę robisz. Poniżej cztery typowe sytuacje i to, na czym w każdej z nich trzeba się skupić.
Konkretne modele procesorów zmieniają się szybko, więc nie opieraj się na nazwach z tego artykułu. Sprawdź aktualną specyfikację u producenta procesora, a dane o wsparciu konkretnego programu znajdziesz w jego dokumentacji. Przy zakupie porównuj oferty w sklepach internetowych. Na allee.pl możesz zestawić ofert różnych sprzedawców w jednym miejscu, a kupujący ma tam 14 dni na zwrot bez podawania przyczyny. Cena to jednak dopiero początek, dlatego sprawdź też warunki dostawy i oznaczenia sprzedawcy.
- Rzadkie pytania, krótkie teksty, model bez karty: procesor z rozsądną liczbą rdzeni i dobrze dobrana pamięć RAM zwykle wystarczą, a liczy się cierpliwość przy odpowiedziach
- Częste generowanie tekstu lub obrazów na karcie graficznej: procesor może być przeciętny, byle nadążał za kartą, a główny wydatek przesuwa się na kartę i jej pamięć
- Analiza długich dokumentów na CPU: szybka pamięć i ilość RAM mają większe znaczenie niż liczba rdzeni, a czas odpowiedzi będzie długi
- Mały komputer pracujący całą dobę: liczy się zużycie prądu, więc przy wyborze procesora zwróć uwagę na energooszczędność
Jak sprawdzić, czy procesor jest wąskim gardłem
Nie musisz być informatykiem, żeby to sprawdzić. Uruchom model, który już masz, i zadaj mu pytanie wymagające dłuższej odpowiedzi. W trakcie pracy otwórz menedżer zadań w Windows albo Monitor aktywności w macOS i obserwuj obciążenie procesora, karty graficznej i pamięci RAM. Te wartości pokazują, który element pracuje na granicy możliwości.
Jeśli procesor jest ciągle zajęty, a karta odpoczywa, wąskim gardłem jest CPU. Jeśli odwrotnie, karta pracuje na pełnych obrotach, a procesor spokojnie, to kierunek raczej pamięć karty niż nowy procesor. Gdy pamięć RAM jest prawie pełna i system zaczyna przerzucać dane na dysk, problemem jest RAM, a nie liczba rdzeni.
Pamiętaj, że takie pomiary dają obraz tylko dla Twojego programu, modelu i ustawień. Zmieniaj jedną rzecz naraz, żeby wiedzieć, co dało efekt. Odpowiedzi modelu zawsze sprawdzaj, a do modelu nie wpisuj haseł, danych klientów ani dokumentów objętych tajemnicą.
- Zamknij zbędne programy i karty przeglądarki przed testem
- Zapisz obciążenie procesora, karty i RAM w trakcie odpowiedzi
- Powtórz pomiar po każdej zmianie ustawień
- Sprawdź, czy system nie przerzuca danych na dysk przy pełnej pamięci
Najczęstsze pytania
Czy procesor ma znaczenie, jeśli mam kartę graficzną do AI?
Tak, ale drugoplanowe. Karta wykonuje większość obliczeń przy generowaniu odpowiedzi, a procesor przygotowuje dane, obsługuje system i wczytuje model. Słaby procesor może jednak spowalniać całość, zwłaszcza przy ładowaniu modeli i pracy równoległej.
Ile rdzeni procesora potrzebuję do lokalnego AI?
Jednej, uniwersalnej liczby nie ma, bo zależy od programu, modelu i tego, czy pracujesz na karcie. Zamiast liczyć rdzenie, sprawdź w trakcie pracy, czy są zajęte, i zadbaj o ilość oraz szybkość pamięci RAM. Konkrety znajdziesz w dokumentacji narzędzia i u producenta procesora.
Czy model AI da się uruchomić tylko na procesorze?
Tak, wiele mniejszych modeli działa na samym CPU i pamięci RAM. Odpowiedzi są jednak zwykle wolniejsze niż na karcie z odpowiednią pamięcią, więc taki wariant lepiej sprawdza się przy rzadkich pytaniach i krótkich zadaniach.
Czy NPU w laptopie zastąpi kartę graficzną?
Nie w przypadku dużych modeli. NPU jest oszczędnym blokiem do określonych zadań, a jego wsparcie zależy od programów. Przy poważniejszej pracy z modelami nadal liczy się karta z dużą pamięcią albo odpowiednio duża pamięć wspólna, zależnie od platformy.
Jak sprawdzić, czy mój komputer jest za słaby do AI?
Uruchom model i obserwuj w menedżerze zadań wykorzystanie procesora, karty i pamięci RAM. Jeśli któryś element jest stale na granicy, a reszta czeka, to on jest wąskim gardłem. Pamiętaj, że wyniki zależą od programu i ustawień.